...Qualsiasi processo di backtesting si usi per validare una strategia, prima o poi dovrà misurarsi con la realtà, ovvero la strategia si troverà a fare i conti con dati freschi, mai visti.
A questo punto in caso di fallimento, non è possibile ripartire da capo a meno di farlo dopo aver accusato delle perdite sull’account.
Questo non accade, ovviamente, usando il ... [n.d.r. test out-of-samble a posteriori] ( qualsiasi altro metodo per minimizzare l’averfitting): se non va, semplicemente cambi strategia e questo accadrà più e più volte, finché il tuo system avrà una performance decorosa nei tre spezzoni.
In questo modo, lentamente anche la parte di validazione finale entra nel gioco, per cui l’ultimo spezzone di dati (quello che dovrebbe convalidare la bontà del system) è come se fosse visto dal system medesimo, producendo una pericolosissima forma di overfitting invisibile.
Purtroppo questa forma di overfitting è ineliminabile: più passi tempo ad “arare” la serie storica provando strategie, più le chance di data-mining diventano alte. E’ una caratteristica abbastanza nota in letteratura scientifica, infatti molte anomalie scoperte da ricercatori universitari scompaiono appena l’articolo scientifico è pubblicato e reso disponibile a tutti.
Per questo è conveniente che la strategia abbia una “logica” fondamentale al suo interno, ovvero una spiegazione del suo funzionamento aldilà, dei risultati statistici.
E’ una brutta bestia l’overfitting, secondo me la principale responsabile delle perdite dei trader “sistematici”...
)
) capito!
