Petr Tmej
- 15. 7. 2022
- Minut čtení: 7

Hodnocení Výkonnosti Strategií 9/12

Hodnocení Výkonnosti Strategií

Když vyvíjíte, analyzujete a porovnáváte jednotlivé strategie, měli byste mít jasně definovanou metodu v podobě precizních metrik na vyhodnocování jejich výkonnosti. Jednou ze široce rozšířených chyb začínajících traderů je orientace pouze na celkový výnos strategie. Motivace je jasná. Chtějí vydělat co nejvíce. Ale způsob, jakým ty peníze vyděláte v čase, je pro Vás úspěch v tradingu stejně tak podstatný.

Co mám na mysli, je stabilita těchto výnosů Představte si dvě strategie: První strategie zhodnotila vstupní kapitál ve výši 100% celkového výnosu během 4 let. Veškerý zisk však vyprodukovala během jednoho roku. Druhá strategie zhodnotila vstupní kapitál za stejný čas o 80%, ale stabilně, každý rok o 20%.

I když první strategie vydělala v celkovém důsledku více, než první, inteligentní investor by si určitě vybral na trading druhou strategii, jelikož nabízí potřebnou stabilitu výnosů. Za tímto účelem je potřeba sledovat i jiné metriky, ne jen totální výnos.

O přístupu k správnému vyhodnocování strategií, které bude brát do úvahy nejen zisk, ale i celkový risk profil, si nyní popíšeme v této kapitole.

E-mini Russell 2000 („EXCELSIOR-RUS2000“)

Pro názorný příklad, s jakými metrikami při hodnocení strategií pracujeme, budeme používat strategii, která byla původně vyvinutá pro trh E-mini Russell 2000 (ticker RTY). Od roku 2015 má tato strategie validní out-of-sample data, které simulují live trading. Strategie používá velmi originální price patterny pro vstupní i výstupní signály z pozice, které byly vytvořené díky genetickým algoritmům.

Obchodní seance této strategie je od 8:15 do 15:15, Chicagské burzy, kde se RTY obchoduje. Barové úsečky používají 60minutový timeframe.

Nejprve se podívejme na ekvity křivku zobrazující výsledky od 2.1.2008 do 24.9.2020 (Obrázek 1).

Obrázek 1: Ekvity křivka s počtem obchodů pro strategie EXCELSIOR-RUS2000 aplikovanou na trh E-mini Russell 2000

Nyní se podívejme na shrnutí výkonnosti strategie z platformy TradeStation (Peformance Summary):

Obrázek 2: Shrnutí výkonnosti strategie EXCELSIOR-RUS2000 pro trh E-mini Russell 2000

Jak můžete vidět na Obrázku 1 a 2, strategie produkovala zisky a vytvářela nové vrcholy prakticky v jakýchkoliv tržních podmínkách během poslední 12 let, což je dobré znamení. Dle ekvity křívky můžete vidět, že strategie za dané období vygenerovala téměř 700 obchodů (konkrétně 653) se ziskem okolo $170 000 při obchodování jednoho kontraktu. Přibližně po šestistém obchodu začala ekvity křivka růst velmi strmě vzhůru, což značí, že strategie extrémně dobře zareagovala na volatilní období COVID-19 pandemie. Rovněž je dobré zmínit, že i statistický vzorek 653 obchodů je již akceptovatelným statistickým vzorkem.

Jak vidno, ekvity křivka je tedy velmi užitečným grafickým nástrojem, který nám na první pohled odkryje, zdali je strategie nejen profitabilní, ale i stabilní a dokáže generovat nové a nové ziskové vrcholy napříč časem.

V případě, že obchodujete s velmi nízkým kapitálem v řádech tisíců dolarů, můžete si zvolit variantu obchodovat tuto strategii na Micro E-mini Russell 2000 (M2Y):

Obrázek 3: Shrnutí výkonnosti pro EXCELSIOR-RUS2000 na Micro E-mini Russell 2000

Nyní se zaměřme na to, kterým metrikám bychom v rámci hodnocení strategie měli věnovat pozornost:

Čistý zisk (Total Net Profit)

Čistý zisk je součtem všech ziskových (Gross Profit) a ztrátových (Gross Loss) obchodů. Jeho hodnota může být jak pozitivní, tak negativní.

Pro ilustraci si představme backtest dvou obchodních systémů na vzorku 5 obchodů s následujícími výsledky:

$320, -$260, $50, -$400, $720. Celkový zisk činí $430.
$200, -$750, -$3 000, $30, $5 200. Celkový zisk je nyní $1 680.

Otázka pro začínající tradery: „Kterou z těchto dvou obchodní strategií byste preferovali? Mnoho traderů by zřejmě logicky vybralo tu strategii, která vykazuje vyšší čistý zisk, tedy $1 680.

Tímto jednoduchým příkladem Vás směřuji k úvaze, že je nutné začít uvažovat v trochu širším kontextu. Primárním cílem vždy bude snaha o co nejvyšší výdělky, ale trading, stejně jako každé jiné podnikání, je také o riziku. Podívejme se tedy nyní na oba příklady z pohledu kumulované ztráty:

v prvním případě byste byli vystaveni kumulované ztrátě ve výši -260 + 50 – 400 = $-610
ve druhém případě je kumulovaná ztráta -750 -3 000 = $ -3 750

Nyní již jistě chápete, že hodnocení strategie pouze na základě tohoto jediného ukazatele by bylo velice krátkozraké. Je nezbytné na ni nahlížet v kontextu vícero informací a ukazatelů. Nikdy a za žádných okolností nepovažujte ukazatel čistého zisku za směrodatný a jediný indikátor kvality Vaší strategie.

Také nezapomínejte, že v čistém zisku se musí promítnout i náklady spojené s brokerskými poplatky (Comissions) a skluzem v plnění (Slippage).

Z Obrázku 2 vyplývá, že čístý zisk strategie EXCELSIOR-RUS2000 na trh RTY byl $163 400.

Drawdown

Drawdown je rozdíl mezi historickým vrcholem ekvity křivky a následným kumulativním poklesem ceny. Nejedná se však nezbytně o ztrátu, ale pouze o cenový propad. Lze jej vyjádřit v množství peněz nebo procentuálním podílu největšího kumulativního poklesu kapitálu na historických backtestech.

Jeho hodnota či násobek této hodnoty se často používá k určení velikosti účtu pro živé obchodování konkrétního trhu a pro stanovení maximálního akceptovaného rizika v rámci obchodního účtu. Například pokud náš maximální historický drawdown v určitém trhu dosahuje $5 000, můžeme si říci, že v rámci naší obchodní strategie budeme tento trh obchodovat s účtem s trojnásobnou hodnotou drawdownu, tedy $15 000.

Na Obrázku 2 vidíme, že maximální drawdown strategie EXCELSIOR-RUS2000 je $13640 (položka Maximum Intraday Drawdown).

Profit faktor (Profit Factor)

Profit faktor je podíl všech ziskových (Gross Profit) a ztrátových (Gross Loss) obchodů. Jeho nejnižší hodnota je 0. Nejvyšší hodnota není limitována. Ale z vlastní praxe vím, že najít strategii s dostatečným počtem obchodů (více než 500) a s profit faktorem vyšším než 1.5, je spíše ojedinělou záležitostí.

Existují tradeři, pro které je profit faktor naprosto zásadní ukazatel, avšak je potřeba vzít v úvahu, že tento ukazatel jakkoliv nereflektuje stabilitu strategie napříč časem.

Celkový počet obchodů (Total Number of Trades)

Vždy si, prosím, pamatujte jedno zásadní pravidlo. Čím větší počet obchodů, tím lépe. Pro znalce teorie pravděpodobnosti a základů statistiky není třeba toto dogma více rozebírat. Je Vám jistě jasné, že čím větší máme statistický vzorek dat (v našem případě backtest), tím relevantnější statistické závěry můžeme činit.

Klasickým příkladem může být průzkum voleb. Všichni to velice dobře známe. Vybraná agentura provádí volební průzkumy na základě statistického vzorku. Tento statistický vzorek zpravidla obsahuje pár tisíc obyvatel, to znamená zanedbatelnou část z celkového počtu.

Nejpodstatnější je, aby tento vzorek obsahoval rovnoměrně všechny věkové kategorie, sociální vrstvy, etnika, pohlaví atd. Na základě tohoto statistického vzorku se pak odhadují celkové výsledky skutečného hlasování.

Všimněte si, že se u těchto průzkumů vždy hovoří o statistické odchylce v řádu procent. Zde existuje také jedno neměnné pravidlo. Čím více se náš statistický vzorek (podmnožina) blíží celkovému počtu dané množiny, tím menší bude statistická odchylka. V České republice žije přibližně 10 miliónů obyvatel.

Nyní si představme, že pro průzkum volebních preferencí budou zvoleny dva relevantní statistické vzorky (podmnožiny), první o 10 000 obyvatel a druhý o 100 000 obyvatel. Je jasné, že statisticky relevantnější bude vždy vzorek se 100 000 obyvateli, pokud budou mít oba vzorky stejnou relevanci z hlediska složení.

Analogicky se nyní podívejme na strategii. Jistě je již všem zřejmé, že strategie obsahující 30 obchodů má oproti strategii obsahující 600 obchodů zcela jinou výpovědní hodnotu. Samozřejmě je zapotřebí zohlednit, jestli se jedná například o intradenní strategii, která drží pozice v rámci hodin, či poziční strategii, která drží pozice v delším časovém intervalu.

Pro shrnutí: V backtestech chceme tedy vidět:

co nejdelší časové období s co možná největším počtem obchodů,
co největší možný vzorek tržních situací (např. chop, silný trend, náhlé cenové zvraty, limitní pohyby, více či méně volatelní období, extrémní situace atp.)

Z Obrázku 2 vyplývá, že strategie EXCELSIOR-RUS2000 má 653 obchodů na více jak 12letém období, což je z hlediska statistické významnosti velmi uspokojující.

Procento profitabilních obchodů (Percent Profitable) a Poměr průměrného zisku vůči průměrné ztrátě (Ratio Avg Win. / Avg. Loss)

Pokud vezmeme počet úspěšných obchodů a vydělíme ho celkovým počtem obchodů a výsledek vynásobíme 100, dostaneme procento úspěšných obchodů. Otázkou je, do jaké míry je tento ukazatel pro nás směrodatný. Existují totiž strategie, které mohou mít 30% profitabilních obchodů, a přece v dlouhodobém měřítku mohou vydělávat mnohem více, než strategie s 60% úspěšností. Dokonce mohou existovat obchodní strategie s 60% profitabilních obchodů a být prodělečné. Odpověď proto spočívá spíše v průměrném zisku a průměrné ztrátě všech obchodů a jejich vzájemném poměru.

Na obrázku 3 vidíme tentokrát příklad pro trh Micro E-mini Russell 2000, kde procento profitabilních obchodů činí 48.29% a poměr průměrného zisku vůči průměrné ztrátě činí 1.86.

Pojďme si tyto indikátory blíže vysvětlit na konkrétním příkladu. Představme si dvě strategie, z nichž každou jsme testovali na 1000 obchodech:

a) První strategie má průměrný zisk $1 000 a průměrnou ztrátu $400.

Poměr průměrného zisku vůči průměrné ztrátě je 1 000/400 = 2,5.

Procento profitabilních obchodů dosahuje 35%.

Celkový zisk/ztrátu spočítáme jako:

Celkový zisk/ztráta = počet obchodů * (průměrný zisk * 0,35 – průměrná ztráta * 0,65) = 1 000 * (350 – 260) = $90 000

Strategie je tedy díky vysokému poměru průměrného zisku k průměrné ztrátě i přes nízké procento úspěšných obchodů dlouhodobě profitabilní.

b) Druhá strategie má průměrný zisk $1 000 a průměrnou ztrátu $1 800.

Poměr průměrného zisku vůči průměrné ztrátě je tedy 0,55.

Procento profitabilních obchodů dosahuje 60%.

Celkový zisk/ztráta je:

Celkový zisk/ztráta = 1 000 * (600 – 720) = -$120 000

Přestože strategie vykazuje 60% profitabilních obchodů, z důvodu velmi nízkého poměru průměrného zisku k průměrné ztrátě je v rámci 1 000 obchodů velmi ztrátová.

Z ilustrativního příkladu tudíž jasně vyplývá, že tak jako na ostatní ukazatele nelze na procento úspěšných obchodů nahlížet izolovaně, ale vždy v kontextu s poměrem průměrného zisku k průměrné ztrátě. Jedná se tedy o velmi důležitý ukazatel. Trading totiž spočívá v hledání tzv. Edge (statistické výhody).

Strategie, která mívají procento úspěšnosti mezi 20-50% a vysoký poměr průměrného zisku vůči průměrné ztrátě od 1.8 výše jsou obvykle charakterizovaný jako tzv. trend-following strategie. Proto se dá říci, že strategie EXCELSIOR-RUS2000 může být klasifikována jako trend-following strategie, která drží pozice krátkodobě.

Oproti tomu strategie s vysokým procentem úspěšnosti (více jak 60%) a nízkým poměrem průměrného zisku vůči průměrné ztrátě (méně než 1) jsou obvykle tzv. mean-reversion strategie.

Průměrný zisk/ztráta na obchod (Average Trade Net Profit)

Jedná se o ukazatel, který nám v tradingu může napovědět mnoho užitečného. Vypočítáme ho jednoduše tak, že ze všech obchodů, tzn. ziskových i ztrátových, vypočítáme aritmetický průměr.

Může mít jak kladnou, tak i zápornou hodnotu. Je-li jeho hodnota kladná, pak jsme v backtestech k poslednímu datu obchodů dosáhli zisku. Je-li jeho hodnota záporná, jsme v backtestech k aktuálnímu datu s naší obchodní strategií ve ztrátě. V případě strategie EXCELSIOR-RUS2000 z Tabulky 2 vidíme, že průměrný zisk na obchod je $250.23, což je velmi vysoká hodnota i s ohledem na to, že v ní jsou započítaný náklady na komise a slippage.

Platí zde jedno zásadní a základní pravidlo. Čím vyšší je hodnota průměrného zisku na obchod, tím lépe. Opět ale musíme přihlížet i k ostatním ukazatelům jako Profit Faktor, směrodatná odchylka obchodů, počet obchodů, drawdowny atd.

V žádném případě nelze ze souboru strategií vybrat tu, která vykazuje nejvyšší průměrný zisk na obchod bez zohlednění dalších těchto metrik.

Rada: Hodnocení výkonu strategie není jen o návratnosti. Vždy musíte vzít v úvahu také volatilitu výnosů. Proto byste měli vždy používat poměr Sharpe nebo Sortino. Pamatujte, že obchodování je hlavně o stabilních výnosech

Pokud si chcete přečíst celý Ebook Ultimátní Průvodce Jak Na Úspěšný Algoritmický Trading, a nechcete jít článek po článku na našich stránkach, stáhnout si ho můžete okamžite a zcela zdarma zde! 12 kapitol, 118 stránek, všechno na jednom místě.

Petr Tmej

Hodnocení Výkonnosti Strategií 9/12