Overfitting

[tdazio]

finding an edge...simple? | Page 4 | Elite Trader


questo, ad es. , TOM bias?

secondo me questo acrary sta scherzando. quando dice:

I measure my edge by taking the trades and checking them versus random other possible entry periods given the same holding period. For example, if I have 50 long trades in a year with a one day holding period. I test 5000 random combinations of 50 one day buys with a one period hold and rank the random results. If my total profit from the 50 one day longs beats at least 70% of the random entries, I'm encouraged.

dice una palese fesseria: se faccio scegliere da mio figlio di 8 anni i 50 migliori giorni dello sp500 nel 2013, è evidente che supereranno qualsiati test di montecarlo, ma sarà sempre e comunque data-snooping.

sulla singola serie storica non c'è modo di validare qualsiasi strategia senza conoscere il numero REALE di tentativi fatti per ottenerla (cosa quasi impossibile): è una banalità che ricade nei classici test statistici di scelte multiple

 

[cammello]

E ricordati che quel senso di nausea che proverai subito dopo, è solo un bias!

beh, si; certo che se resta incinto con un TS sta aggravato

C

 

[Cren]

...certo che se resta incinto con un TS sta aggravato

 

[smodato 2]

secondo me questo acrary sta scherzando. quando dice:

dice una palese fesseria: se faccio scegliere da mio figlio di 8 anni i 50 migliori giorni dello sp500 nel 2013, è evidente che supereranno qualsiati test di montecarlo, ma sarà sempre e comunque data-snooping.

sulla singola serie storica non c'è modo di validare qualsiasi strategia senza conoscere il numero REALE di tentativi fatti per ottenerla (cosa quasi impossibile): è una banalità che ricade nei classici test statistici di scelte multiple

Però dipende da come viene fatta la scelta, ovviamente se dici a tuo figlio di cercare i 50 migliori lui ti trova quelli, qui si parla di un qualcosa (pattern, edge, mal di pancia) che ti dica di aprire un trade in una certa direzione.

 

[GiuliaP]

Però dipende da come viene fatta la scelta, ovviamente se dici a tuo figlio di cercare i 50 migliori lui ti trova quelli, qui si parla di un qualcosa (pattern, edge, mal di pancia) che ti dica di aprire un trade in una certa direzione.

Non mi ero soffermata su quel particolare, ma direi che tdazio ha ragione

acrary fa un casino del tutto inutile.

 

[GiuliaP]

...sulla singola serie storica non c'è modo di validare qualsiasi strategia senza conoscere il numero REALE di tentativi fatti per ottenerla (cosa quasi impossibile): è una banalità che ricade nei classici test statistici di scelte multiple

Ma neanche in quel caso!

Esiste un solo modo per validare una strategia rispetto all'overfitting: per definizione. Ed è "andare a mercato"

 

[smodato 2]

Ma neanche in quel caso!

Esiste un solo modo per validare una strategia rispetto all'overfitting: per definizione. Ed è "andare a mercato"

Però si potrebbe interpretare il metodo di alcatraz (o come diavolo si chiama) come una verifica OOS, come dire nel prossimo anno vediamo se il mio metodo fa meglio della casualità (se per esempio trovassi un setup solo long e facessi faville potrei anche essere semplicemente in una fase super bullish di mercato e gongolare a vanvera), vedere in OOS un comportamento peggiore della casualità potrebbe essere un campanello di allarme. A parte questo è un po' come la teoria del tipo del MSA che parla di falsi positivi e falsi negativi.

 

[maveri75]

Non mi è chiaro questo passaggio, dove dice che diventa seguage dell'overfitting? In quell'altro thread da me citato dove, se non ho capito male, dice che invece di cercare l'edge meglio avere un mucchietto di strategie adatte a tutte le stagioni? Se è quello allora penso abbia detto una boiata pazzesca, non in quanto tale (eh perbacco vorrei pure io avere la strategia che fa pingo pong in congestione e si ferma in trend e quella che entra a breakout quando questo è quello giusto...) ma perchè non mi è chiaro come vengano identificate le varie fasi di mercato.
Ora scusate, devo chiudere alcune posizioni per poter investire l'intero mio capitale nel prossimo trade

Non lo ha mai scritto che è passato all'overfitting, ma se lasci la ricerca ed uso dell'edge per avere un mucchietto di strategie, allora cosa è, se non overfitting? Bon resto dell'idea che ha lanciato fumo negli occhi della platea, l'edge lo segue e ricerca, altroché.

 

[GiuliaP]

Però si potrebbe interpretare il metodo di alcatraz (o come diavolo si chiama) come una verifica OOS, come dire nel prossimo anno vediamo se il mio metodo fa meglio della casualità (se per esempio trovassi un setup solo long e facessi faville potrei anche essere semplicemente in una fase super bullish di mercato e gongolare a vanvera), vedere in OOS un comportamento peggiore della casualità potrebbe essere un campanello di allarme. A parte questo è un po' come la teoria del tipo del MSA che parla di falsi positivi e falsi negativi.

Su Alcatraz e MSA non ti seguo , ma direi che non ti serve a niente confrontare il tuo sistema a mercato con la casualità: piuttosto va confrontato col passato, ovvero con quello che ti aspetti dal sistema.

 

[tdazio]

Però dipende da come viene fatta la scelta, ovviamente se dici a tuo figlio di cercare i 50 migliori lui ti trova quelli, qui si parla di un qualcosa (pattern, edge, mal di pancia) che ti dica di aprire un trade in una certa direzione.

vero, però la strategia che in futuro ti dirà di aprire il trade in un certo modo può essere la migliore tra decine di migliaia che tu hai provato (realmente oppure che che hai escluso perché già testate da altri): più è alto il numero dei tentativi (*) più è facile incappare in buoni risultati nel passato per pure chance
in altri termini: per avere il p-value con cui rifiutare l'ipotesi nulla di fare trading a caso è indispensabile conoscere il numero REALE dei tentativi

(*) per PG: più le varie strategie provate sono scorrelate fra di loro, più peggiorano le cose e le chance di trovarne una buona per puro caso aumentano. se per assurdo le strategie avessere correlazione 1 , in realtà si tratterebbe di una sola strategia.