Statistický vztah ještě není použitelná tržní informace.
Matematicky ověřenou hypotézu vystavujeme omezením, která odpovídají skutečnému trhu. Simulace není samostatný produkt. Je kontrolním krokem, který zkoumá, zda výsledek obstojí po zohlednění časování, nákladů, likvidity, kapacity a rizika.
Validační rámec tržních hypotéz
Definovat signál
Přesně určujeme:
- kdy informace vzniká
- kdy je skutečně dostupná
- jak se převádí do měřitelného signálu
- jaký horizont má hypotéza vysvětlovat
- co by hypotézu vyvrátilo
Zpětně opravená nebo později dostupná informace nesmí být použita, jako by byla známá dříve.
Testovat vztah k výsledku a ceně
Ověřujeme, zda signalizovaná změna souvisí s finančními výsledky, odchylkou od očekávání, cenovým chováním, objemem, likviditou nebo relativním chováním vůči trhu či odvětví.
U událostí, jako je zveřejnění výsledků, používáme podle výzkumné otázky vhodnou událostní studii a měříme chování ceny vůči relevantnímu tržnímu nebo odvětvovému modelu.
Testovat předstih a rozpad signálu
Testujeme kdy signál začíná obsahovat informaci a jak rychle tato hodnota mizí.
Stejná hypotéza může být relevantní v horizontu několika dní a bez informační hodnoty v horizontu několika měsíců. Proto testujeme více předem definovaných časových horizontů.
Ověřit výsledek mimo vzorek
Výsledek musí obstát v období, na kterém nebyl vytvořen.
Při práci s více společnostmi a obdobími používáme panelovou strukturu. Počet testovaných variant musí odpovídat množství skutečně dostupných pozorování.
Před interpretací výsledku posuzujeme také statistickou sílu testu. Výběr nejlepšího výsledku z velkého počtu pokusů bez korekce nepovažujeme za důkaz.
Simulovat tržní prostředí
Backtest nesmí předpokládat, že obchod proběhne okamžitě a bez nákladů. Podle charakteru trhu proto zohledňujeme například:
- zpoždění mezi vznikem signálu a možnou exekucí
- bid-ask spread a poplatky
- likviditu
- omezení objemu obchodu vůči běžnému dennímu objemu
- odhad tržního dopadu
- obrátkovost
- kapacitu strategie
Výsledek posuzujeme před náklady i po realistickém odhadu nákladů.
Posoudit riziko a velikost pozice
Riziko neposuzujeme odděleně od volatility, likvidity a nejistoty samotného odhadu. Podle trhu může simulace pracovat například s cílenou volatilitou a omezením velikosti pozice.
Matematicky optimální velikost při dokonale známé pravděpodobnosti není totéž jako rozumná velikost v prostředí, kde je samotný odhad nejistý.
Testovat stresové scénáře
Jedna historická posloupnost je pouze jedna realizace. Proto testujeme, jak se výsledek mění při jiném pořadí obchodů, blocích zvýšené volatility, vyšších nákladech, nižší likviditě nebo změně tržního režimu.
Zajímá nás rozdělení možných výsledků, ne pouze jedna historická hodnota maximálního poklesu.
Kontrolovat přeučení
Čím více variant modelu testujeme, tím větší je riziko, že některá vykáže dobrý výsledek náhodou. Sledujeme proto počet variant, stabilitu mimo trénovací vzorek, citlivost na parametry a známky strukturální změny výkonu.
Model, který funguje pouze při jedné přesné kombinaci parametrů, nepovažujeme za robustní.
Definovat podmínky odmítnutí
Předem stanovujeme, co musí nastat, abychom hypotézu odmítli. Může jít například o zánik efektu po kontrole na tržní faktor, nestabilní předstih, zánik výsledku po realistických nákladech, nedostatečnou likviditu nebo výsledek omezený na jedno úzké období.
Bez podmínek pro odmítnutí nejde o validaci, ale o hledání potvrzení.
Praktická tržní zkušenost
Aplikovaná matematika ukazuje, zda statistický vztah existuje a jak silná je opora v datech. Praktická zkušenost s finančními trhy pomáhá ověřit, zda lze hypotetický výsledek v daném čase a rozsahu skutečně realizovat.
Posuzujeme například dostupnost informace, likviditu, spread, očekávaný skluz, velikost proveditelné expozice, tržní režim a výsledek po nákladech.
Tržní validace je součástí výzkumného procesu, nikoli veřejnou obchodní nebo investiční službou.
Výsledek tržní validace
Podle rozsahu obsahuje validační výstup:
- definici hypotézy a signálu
- datový a časový režim
- metodiku
- výsledek mimo původní vzorek
- výsledek před náklady a po nákladech
- citlivost na likviditu a kapacitu
- rozdělení možných výsledků
- podmínky selhání
- závěr Přijmout / Sledovat / Odmítnout
