00 — Ověřit původ a kvalitu dat
Ještě před vytvořením metriky posuzujeme:
- původ a oprávnění k použití dat
- okamžik, kdy byla informace skutečně dostupná
- stabilitu pokrytí v čase
- změny složení panelu nebo vzorku
- chybějící hodnoty a revize historických dat
- reprezentativnost a možné výběrové zkreslení
U panelových nebo alternativních dat může změna složení vzorku sama vytvořit falešný signál. Proto oddělujeme změnu ekonomického chování od změny v tom, co dataset právě pokrývá.
01 — Položit testovatelnou otázku
Definujeme:
- co chceme vysvětlit
- jakou proměnnou budeme měřit
- vůči čemu ji porovnáváme
- v jakém časovém horizontu očekáváme vztah
- co by hypotézu vyvrátilo
Hypotéza musí být formulována tak, aby mohla selhat.
02 — Strukturovat a měřit
Surové informace převádíme do konzistentních časových řad a srovnatelných proměnných.
Podle otázky pracujeme například s:
- meziroční nebo meziměsíční změnou
- relativní změnou vůči srovnávací skupině
- standardizovanou odchylkou od historické úrovně
- faktorovým nebo kompozitním indikátorem
Metodiku volíme podle dat a výzkumné otázky, ne opačně.
03 — Testovat vztah a alternativní vysvětlení
Zkoumáme, zda proměnná souvisí s výsledkem, který chceme vysvětlit. Podle struktury dat používáme časové řady, panelové modely, modely s rozloženým zpožděním nebo jiné vhodné metody aplikované statistiky.
Současně kontrolujeme relevantní alternativní vysvětlení, například odvětví, sezónnost, velikost společnosti nebo obecný pohyb trhu.
04 — Testovat předstih a čas
Nestačí vědět, že spolu dvě veličiny souvisejí. Potřebujeme vědět:
- zda je informace současná, opožděná nebo předstihová
- jak stabilní je její časový náskok
- zda se předstih nemění mezi různými obdobími
- kdy informační hodnota začíná slábnout
Test prediktivního předstihu nepovažujeme automaticky za důkaz kauzality.
05 — Ověřit robustnost mimo původní vzorek
Vztah testujeme na datech a obdobích, která nebyla použita při jeho vytvoření.
Používáme postupné neboli walk-forward testování. Trénovací a testovací okna oddělujeme tak, aby se mezi nimi nepřenášela informace.
Pokud zkoušíme více variant a hypotéz, evidujeme jejich počet a korigujeme riziko, že nejlepší výsledek vznikl pouze náhodou.
06 — Vyhodnotit nejistotu a podmínky platnosti
Výstupem není jistota. Posuzujeme:
- jak silná je opora v datech
- jaká nejistota zůstává
- v jakých podmínkách vztah funguje
- kdy přestává být použitelný
- jak rychle jeho informační hodnota v čase klesá
Rozpad informační hodnoty je součást výsledku, ne chyba, kterou bychom měli skrývat.
07 — Rozhodnout o dalším kroku
Každou výzkumnou hypotézu uzavíráme jedním ze tří rozhodnutí:
Přijmout k dalšímu využití
Vztah obstál a má dostatečnou informační hodnotu pro další práci.
Sledovat
Výsledek stojí za další sledování, ale opora v datech, počet pozorování nebo časová stabilita zatím nestačí.
Odmítnout
Hypotéza neobstála, byla vysvětlena jiným faktorem nebo její praktická hodnota zmizela.
Negativní výsledek je plnohodnotný výsledek výzkumu.
Co považujeme za důkaz
Metodika sama o sobě není důkazem výsledku. Výstup považujeme za doložený pouze tehdy, když lze u analýzy zpětně dohledat:
otázku → použitá data → metodiku → test mimo vzorek → limity → závěr
Ilustrativní příklady slouží pouze k vysvětlení procesu. Nejsou vydávány za dosažený výsledek ani za track record.
Standard pro publikovaný Research Note
Research Note označujeme za výzkumný výstup pouze tehdy, když vychází z dokončené analýzy a jasně odděluje:
- předem formulovanou otázku
- skutečně použitá data a dobu jejich dostupnosti
- metodiku a kontrolní proměnné
- výsledek mimo původní vzorek
- testy robustnosti
- omezení a podmínky selhání
- konečný závěr, včetně negativního výsledku
Dokud tyto podmínky nejsou splněny, materiál označujeme jako metodický nebo validační rámec, nikoli jako případovou studii s dosaženým výsledkem.
Specializovaná tržní validace
U hypotéz posuzovaných v podmínkách finančních trhů následuje další kontrolní vrstva. Ověřujeme časovou dostupnost informace, realizovatelnost, náklady, likviditu, kapacitu a chování výsledku ve stresových scénářích.