Overfitting

[GiuliaP]

...Sviluppo strategie solo In-Sample per evitare il circolo vizioso del passo indietro qualora l'OOS desse risultati negativi...

c.v.d.!

Grazie 1000 per la risposta tutta!

...perché esponenzialmente e non linearmente?...

Perché si moltiplicano.

...in realtà quello che conta è la correlazione tra le varie strategie che testi: meno sono correlate, maggiore è la chance di incappare nell'overfitting...

Forse volevi dire il contrario?

...oppure, in terza battuta, a contare il numero di test e associare al backtesting migliore una sorta di 'livello di confidenza'
è la strada seguita dalla produzione scientifica degli ultimi anni in questo campo (data-snooping in senso lato, non necessariamente legato alla finanza), anche se la realizzazione è decisamente problematica e dal punto di vista logico la cosa può condurre a strani paradossi.

Chiaro, aggiungi un altro parametro (inutile, ndr), il "livello di confidenza", per battere l'overfitting! Altro che paradosso!

...sul 'pensare fuori dagli schemi' resto perplesso: questo è un campo in cui gli 'schemi' vengono protetti gelosamente da occhi indiscreti, spesso anche se sono dei vicoli ciechi.
l'originalità può anche essere solo apparente.

Tranquillo, sul "pensare fuori dagli schemi" è più che comune restare perplessi

 

[tdazio]

...perché esponenzialmente e non linearmente?...

Perché si moltiplicano.

ah... ora è tutto chiaro, anche il resto dei commenti

 

[Paolo1956]

Perché idealmente il test out of sample perde significato ad ogni suo successivo utilizzo. Se sei un neofita che prova il suo primo sistema per la prima volta out of sample, praticamente ti equivale ad andare a mercato.

Ma più esperienza e test fai, più le tue probabilità di fare overfitting crescono esponenzialmente, qualunque sample tu voglia utilizzare.

La consapevolezza di questo ti dovrebbe portare in prima battuta a rinunciare all'out of sample, ed in seconda battuta a ... "pensare fuori dagli schemi".



Quelle che tu chiami "strategie puramente logiche", per loro stessa definizione, non utilizzano il data snooping. In altri termini, non sono "data driven", ma, come già detto, "intuition/experience driven".
Il problema dell'out of sample, nel loro caso, praticamente non si pone neanche.



Idem!

Ci sono approcci diversi, ad esempio Smodato a quello che capisco è un sistemista, PG si definisce "intuition/experience driven" (ma non lo dire troppo che alla fine capiscono cosa intendi....), e così via, però alla fine, quando hai tanta esperienza e conosci a menadito i mercati degli ultimi 30/50 anni, l'idea dell'out-of-sample perde di fascino, anche perché sai in partenza dove andrai a parare (almeno all'incirca, almeno se non fai sfacciata pesca a strascico o bieca ottimizzazione di parametri)

by

 

[GiuliaP]

Giustissimo, ma questo non si chiama fare in-sample/out-sample...quindi non vedo il nesso fra questo e prima e seconda battuta.

Questa non l'ho capita!

Quello che io dico è che cominci facendo in sample, poi passi all'out of sample sistematico illudendoti di evitare l'overfitting, poi giri e rigiri finché non capisci che tanto vale restare in sample. E poi, se riesci, fai il salto del cerchio!

Ci sono approcci diversi, ad esempio Smodato a quello che capisco è un sistemista, PG si definisce "intuition/experience driven"...

Personalmente mi definisco unicamente regina d'Inghilterra: tutto il resto sono solo fantasiose congetture estemporanee. Ma quella di "casalinga zitella isterica mai andata a mercato" è tra le mie preferite!

 

[Paolo1956]

Uhm, l'ultima che pretendeva la corona fece una finaccia.....

 

[Paolo1956]

Perché? nella vita bisogna essere eclettici, saper discorrere un po' di tutto...

E poi qui la minisize non mi funziona bene.....

 

[AndrewLR]

Ciao, dico come mi comporto io e quindi non necessariamente come ci si dovrebbe comportare.
Sviluppo strategie solo In-Sample per evitare il circolo vizioso del passo indietro qualora l'OOS desse risultati negativi.
L'esperienza maturata mi permette di capire se il tipo di ingressi/uscite utilizzati possano incontrare problemi in realtime (parlo di problemi ripetitivi come per esempio un ingresso limit in orari di bassa volatilità, non del problema una tantum dovuto a fattori casuali) e quindi il mio "test di robustezza" consiste nel dimenticarmi della strategia per qualche mese (la durata dell'oblio va ovviamente tarata in base al numero di trade/mese della strategia).
Alle volte mi dimentico proprio e ritrovo script "antichi" su cui curiosare ma se i compiti sono fatti bene dopo il periodo di cassetto guardo come si sarebbe comportata la strategia e, se soddisfatto e convinto decido se metterla live.
La fase di sviluppo usa iterazioni tra pattern ed altri setup ma viene sempre posta al vaglio cercando di identificare la logicità o meno di quanto trovato. Questo credo sia un processo molto discrezionale e credo dipenda dalla sensibilità di ciascuno a meno che non si utilizzino ovviamente metodi "nudi e crudi".
In base alla risposta dei sistemi ai pattern utilizzati ho l'impressione (illusione nel vocabolario di PGP) di leggere i cambiamenti dei mercati e quindi l'input per un lavoro di analisi e studio aggiuntivo.
Se una strategia zoppica vistosamente valuto il da farsi. Se il problema nasce immediatamente alla partenza live di solito ammetto l'errore e la spengo per sempre, non cerco di "aggiustarla" manovrando i parametri a meno che non "veda" qualcosa di evidente (ma è molto raro).
Credo che il fattore umano in tutto ciò incida parecchio, non sono infatti un fan di software di ricerca automatica di sistemi né dell'uso di reti neurali al pure scopo di sviluppo, il confine poi tra questi approcci e quello che faccio io credo non sia chiaro nemmeno nella mi testa .
Alle volte mi viene il dubbio se un approccio puramente discrezionale (non di istinto ovviamente ma di pianificazione manuale dell'operatività) non possa essere una valida alternativa a parità di lavoro, se è vero che i sistemi girano in automatico (compatibilmente con le mie capacità prossime al solo utilizzo del pallottoliere) è pure vero che il lavoro di ricerca è continuo e assiduo e si potrebbe immaginare di utilizzare la sensibilità acquisita negli anni per decidere direttamente cosa fare, sto facendo dei test (molto costosi per ora ) in questa direzione, vedremo .

Smodato

Grazie!

Colgo l'occasione per confessare di aver preso un po' d'ispirazione dal tuo lavoro qua e la', quindi grazie^2

Se posso farti una domanda per curiosita': in che senso puo' essere un problema ingresso limit in orari di bassa volatilità?
Perche' non usi risoluzioni di dati sufficienti o comunque perche' vuoi simulare un certo fill ratio in casi di tocco e fuga?

Se ti puo' interessare: rispetto al tuo modo di operare, il mio (finora almeno e per questa classe di strategie) mi ha fatto "smanettare" di meno, cioe' rinuncio a cercare di trovare cambiamenti nei mercati e invece cerco di trovare qualcosa che e' rimasto costante nel mezzo di tutti i cambiamenti.
Il che e' tradotto in backtest quanto piu' lunghi possibili, nell'uso di strategie con stessa identica parametrizzazione cross-assets, robuste a cambi di valore dei parametri e senza parametri "poco utili".
Poi, come detto, uso (una volta ) diversi blocchi di outsample nella storia e fra strumenti diversi per validare il tutto cercando di avere robustezza a cambi di "regime".

Non ci dovrebbero essere dubbi al riguardo, ma chiaramente non sto dicendo che il mio sia un modo migliore di operare (e anzi m'hai dato da pensare...il mio modo ha le sue limitazioni), e' solo come mi sono comportato finora per questo genere di cose.

Personalmente non credo di poter mai fare discrezionale in base a questi, solo se avessi modelli piu' "trasparenti" (ad es per restare in loco quelli Imareschi/PGiulieschi, ma anche degli altri opzionisti qui presenti) e che lo richiedono - ma non ci sono (ancora? )

Questa non l'ho capita!

Quello che io dico è che cominci facendo in sample, poi passi all'out of sample sistematico illudendoti di evitare l'overfitting, poi giri e rigiri finché non capisci che tanto vale restare in sample. E poi, se riesci, fai il salto del cerchio!

Semplicemente salto gli ultimi passaggi di giri e rigiri, e decido per il si' dopo 1 outsample o butto tutto.
E non credo di stare per forza evitando l'overfitting con questo e gli altri accorgimenti, solo cerco di ridurlo in ogni modo possibile.

Ci sono approcci diversi, ad esempio Smodato a quello che capisco è un sistemista, PG si definisce "intuition/experience driven" (ma non lo dire troppo che alla fine capiscono cosa intendi....), e così via, però alla fine, quando hai tanta esperienza e conosci a menadito i mercati degli ultimi 30/50 anni, l'idea dell'out-of-sample perde di fascino, anche perché sai in partenza dove andrai a parare (almeno all'incirca, almeno se non fai sfacciata pesca a strascico o bieca ottimizzazione di parametri)

by

Non sono per forza d'accordo - dipende quello che si fa, ad esempio non penso avresti (o avrei) per forza idea di come si comporterebbe una certa strategia di smodato sul' S&P solo leggendo le regole (e del resto, che inefficienza sarebbe se no).
Poi certo che se chiedi ad Andrea stesso di una variante della strategia avra' un'idea bene o male, come tu ce l'avrai sulle media mobili.

 

[Paolo1956]

Non sono per forza d'accordo - dipende quello che si fa, ad esempio non penso avresti (o avrei) per forza idea di come si comporterebbe una certa strategia di smodato sul' S&P solo leggendo le regole (e del resto, che inefficienza sarebbe se no).
Poi certo che se chiedi ad Andrea stesso di una variante della strategia avra' un'idea bene o male, come tu ce l'avrai sulle media mobili.

nay,obviously, but....

sarebbe pretendere troppo perché significherebbe che avrei la sua stessa testa, cultura e osservazioni fatte. Ognuno di noi guarda alcune cose e non ne vede altre, per cui se mi rivelasse un suo <segreto> probabilmente cascherei dal pero.

Ma io dico una cosa diversa e cioè che l'idea di dividere una serie in parti (che penso sia frutto di TS con tanti numerini magici dentro), in-sample e out-of-sample, non aggiunga particolare valore, perché se la regola base ha un valore, una persona esperta (che sia colui che l'ha trovata) capisce subito dove funziona e dove no. Poi spezzare la serie presenta altri problemi, bisogna saperlo fare, ma se sai come spezzarla forse non hai bisogno dell'out-of-sample.

Non riesco a spiegarmi meglio, ma vedo che molti sono d'accordo su questo punto (anche se da prospettive diverse). L'unico out-of-sample è quello da domani in poi (meglio se vai anche a mercato).

 

[smodato 2]

Se posso farti una domanda per curiosita': in che senso puo' essere un problema ingresso limit in orari di bassa volatilità?
Perche' non usi risoluzioni di dati sufficienti o comunque perche' vuoi simulare un certo fill ratio in casi di tocco e fuga?

Sul miniSP per esempio se aspetti il fill a un certo livello e il mercato si muove lentamente è probabile che il livello venga toccato e tu resti lì ad aspettare il fill, mi sembra difficile poter seriamente calcolare quante volte capiti, ho provato con i trade a DD 0 (ma se c'è un take profit o un reverse limit sei nelle stesse condizioni per l'uscita e raddoppi il rischio di non fill). L'unico modo per essere certo che vada bene è lavorare con ordini MIT e a quel punto dovrei conteggiare (per il miniSP) 25 USD aggiuntivi per RT di costo e, su sistemi intraday, è difficile rimanere in condizioni di guadagno solide.

Se ti puo' interessare: rispetto al tuo modo di operare, il mio (finora almeno e per questa classe di strategie) mi ha fatto "smanettare" di meno, cioe' rinuncio a cercare di trovare cambiamenti nei mercati e invece cerco di trovare qualcosa che e' rimasto costante nel mezzo di tutti i cambiamenti.
Il che e' tradotto in backtest quanto piu' lunghi possibili, nell'uso di strategie con stessa identica parametrizzazione cross-assets, robuste a cambi di valore dei parametri e senza parametri "poco utili".

Credo di essermi spiegato male qui, anche io testo su storici più lunghi possibile ed analizzo i risultati nelle varie fasi, è da quei risultati e dalla costanza di guadagno negli anni che costruisco già un ipotetico OOS dentro l'IS, però i mercati cambiano (questo lo dico io, PGP dice che i sistemi non funzionano in reale perché vittime dell'overfitting ) e cerco di comprendere come e perché (non sempre lo capisco anzi il più delle volte faccio la figura del pollo).
Ciao
Andrea

 

[Cren]

P.S. La minisize te la sei dimenticata anche in alcuni messaggi del fol, occhio!

Mi stai davvero dicendo che scriveva microscopico di proposito e che non era un problema del suo iPad o di quel cavolo che usava..?