Overfitting

@pprillo: secondo me azzardi troppi paragoni. Tu puoi sviluppare con taylor perché c'è un teorema che te lo garantisce (cosa che non puoi fare con un random walk).

Prendiamo due esempi limite opposti:

- il trader A esamina lo storico del titolo Acme, ci appiccica sopra una media, poi una seconda media, poi un rsi al quale applica delle bollinger. Infine qualche numerino magico e ottiene una equity che reputa soddisfacente. A questo punto va a mercato.

- il trader B, che in questo caso identificherò ad es. in PAT, fa un ragionamento a priori sugli aumenti di capitale bancari in questo momento storico e decide una strategia. Non ha quindi uno storico con cui confrontarsi, ciononostante va a mercato.

Il primo caso è sospettabile di overfitting e c'è un forte argomento di tipo probabilistico per ritenere che il sistema a mercato fallirà (se interessa approfondisco).

Il secondo caso viene usato completamente al buio, o bene bene o male male, non ci sono esempi passati sui quali testare la strategia.

Cosa preferiremmo e perché?

Secondo esempio:

Tiriamo 100 volte una moneta: viene la sequenza TTCTCCCT........TCTTC.

Possiamo ipotizzare che se tiriamo nuovamente la moneta 100 volte troveremmo la stessa frequenza?

E se invece fosse venuta la sequenza TCTCTCTC......TC ?

In entrambi i casi le probabilità sono le stesse, 1/2^100, ma nel secondo caso ci parrebbe ragionevole pensare che la sequenza si ripeterà. Perché ?
Mi sono ritagliato due minuti di tempo.

Partiamo dal trader B, che e' sicuramente meno "convenzionale". Il fatto di avere un ragionamento a priori che conduce al risultato e' sicuramente un punto a favore, ma non bisogna dimenticare il problema del Keynesian beauty contest. Dato che tutti i giocatori sono (in teoria) razionali ed il gioco e' competitivo, sarebbe a mio avviso necessaria una prova empirica che dimostri che siamo piu' "avanti" degli altri nel ragionamento. Alternativamente nel ragionamento stesso dovrebbe scaturire qualche elemento che porti a pensare che tutti i giocatori cooperano. Molto vago ma e' il meglio che mi viene in mente in due minuti. :D

Per il giocatore A, secondo me quello che dice PGiulia e' piuttosto sensato:
Chiedere al sign.X come ha ricavato le informazioni, o sarebbe meglio dire l'"esperienza", per costruire il suo TS.

Se la risposta sarà "attraverso lo studio delle serie storiche dei prezzi battuti" (mettiamoci anche gli OI, volumi, e qualche altra cosuccia :D), puoi stare sicuro al 100% che ci sarà overfitting (quello di wiki en). Ed in maniera massiccia, proporzionale alla complessità del TS.
E vorrei cercare di ricongiungerlo ad un argomento di tipo probabilistico, che non so se e' il tuo stesso argomento.

Una equity "soddisfacente" corrispondera' ad una distribuzione dei ritorni che si discosta da quella del mercato con una certa significativita'. Ora, la "significativita'" non e' altro che la risposta alla domanda: "quanto e' probabile che questo risultato esca tirando a caso ?". Benissimo.

Quello che pero' la significativita' non ci dice e' QUANTE volte abbiamo tirato "a caso", cioe' quali sono i gradi di liberta', espliciti ed impliciti, del nostro sistema.

Se aggiungo un numerino non scelto aprioristicamente, ho aggiunto un grado di liberta'.
Se aggiungo un indicatore non scelto aprioristicamente, ho aggiunto N grado di liberta' (uno per l'indicatore e uno per ogni parametro dell'indicatore).
Se scelgo un titolo non aprioristicamente, ho aggiunto un altro grado di liberta'.

Ogni piccolo layer di complessita' aggiunto al sistema, aumenta i nostri gradi di liberta', e cosi' il numero di prove "casuali" che implicitamente o esplicitamente abbiamo fatto.

Mettersi la serie storica davanti agli occhi a questo punto e' suicida, perche' crea comprensibile e pericolosa impressione di aver fatto scelte "aprioristiche" mentre quello che abbiamo fatto e' stato fittare "a occhio" quello che abbiamo davanti. Addirittura l'esperienza in questo caso gioca contro dato che un trader discrezionale relativamente esperto puo' facilmente guardare un grafico e dire a occhio quali sono gli indicatori che ci funzionano. Peccato che anche in questo caso si tratti di un fitting, sebbene fatto dal calcolatore che sta nella scatola cranica.

Cosi' se il nostro, con la serie dei prezzi davanti ha messo 4 indicatori e altrettanti parametri piu' qualche numerino, e stimiamo conservativamente uno spazio di 5 valori per ogni grado di liberta', iniziero' a valutare la possibilita' che il suo sistema possa essere "buono" senza un test out-of-sample quando mi fa vedere una distribuzione di returns che rigettano H0 con una confidenza di 0.99999999 (ovviamente senza aggiungere altri gradi di liberta'). In realta' il problema e' che lavorando in-sample e' impossibile stimare in modo veramente conservativo quanti gradi di liberta' si introducono, senza contare che credo di non aver mai visto uno di questi sistemi rigettare il nullo oltre 0.99 - 0.999 su prove statistiche di un minimo spessore (ad esempio il fetentissimo Kolmogorov - Smirnov), quindi un po' di rigore statistico, sia pure chiaramente insufficiente (come detto, non credo ci sia veramente modo per stimare in modo accettabile quanti gradi di liberta' introduciamo nel costruire la stima, sarebbe interessante discutere al riguardo), almeno aiuterebbe a mettere le cose in prospettiva.

Riguardo invece le due serie di testa o croce, il problema e' a mio avviso interessante e manifesta il modo in cui la mente si approccia agli eventi stocastici.

E' vero che quelle due serie sono uguali se le confronti dal punto di vista della probabilita' di realizzo.

E' altrettanto vero pero' che esse differiscono in modo radicale dal punto di vista del grado di entropia che le caratterizza.

In altre parole la seconda serie e' molto piu' "improbabile" della prima entropicamente. Il tuo cervello lo riconosce e dice "dai cazzarola non e' casuale".
Quando tu hai scritto...

...pensavo volessi intendere che la relazione non "dipenda" dal tempo. Anche perchè una relazione che, a prescindere dalle sue dipendenze, "cambia" nel tempo, non sarebbe assolutamente modellabile, a meno di avere informazioni sulle sue metamorfosi.

Volendo rituffarci in maniera interessante nell'ambito del topic, io personalmente sono convinta (opinione personale) della "dipendenza" temporale della relazione.
Se ho capito il senso di cio' che dici (cioe', tornando alla mia brutta terminologia, pensi che il tempo sia utilizzabile come "variabile esplicativa"), ti dico che non solo condivido ma ho ragioni per pensare che la cosa sia piu' un fatto che un'opinione.

Piuttosto, posto che ci ho smanettato ben poco e senza mai cavare un ragno dal buco posso chiederti il perche' del tuo scetticismo sui volumi, che teoricamente non sono un prodotto diretto dei prezzi ? Per la eccessiva notorieta' del dato ?

@Imar: interessante il discorso dei time-frame. Io tendo invece ad avere una preferenza per operativita' a frequenze relativamente alte (nei limiti di cio' che e' resiliente rispetto a slippage, spreads, varie ed eventuali), dato ch a parita' di tutti gli errori di sviluppo che si possono fare, un'operativita' a frequenza piu' alta ti permette di imporre soglie sensibilmente piu' elevate alla significativita' dei test (sia in-sample che out-of-sample), dato che raccogli un volume di dati molto maggiore.
 
Ultima modifica:
@Imar: interessante il discorso dei time-frame. Io tendo invece ad avere una preferenza per operativita' a frequenze relativamente alte (nei limiti di cio' che e' resiliente rispetto a slippage, spreads, varie ed eventuali), dato ch a parita' di tutti gli errori di sviluppo che si possono fare, un'operativita' a frequenza piu' alta ti permette di imporre soglie sensibilmente piu' elevate alla significativita' dei test (sia in-sample che out-of-sample), dato che raccogli un volume di dati molto maggiore.

Anch'io tendo a preferire frequenze alte esattamente per i tuoi stessi motivi.

I Long Term Trend Following (LTTF) per me hanno tre tipi di difetti:

1) troppi pochi trades per essere statisticamente significativi (e per lo più raggruppati in clusters). Non ho mai capito quelli che dicono.... 2 segnali in media all'anno su 10 anni ed un CAGR del 13%.... questo per me è un segno di debolezza del sistema... e non di robustezza.

2) impossibilità di validazione in tempi "umani";

3) facilità di overfitting, poichè allungando a piacere la frequenza temporale si eliminano - per così dire - tutti i movimenti ciclici minori e si "trattengono" solo i movimenti di ampiezza temporale che interessano allo sviluppatore.

Però anche l'eccesso opposto ha seri problemi, non tanto collegati all'overfitting ma al fatto che chi sviluppa su frequenze troppo alte con dati retail (i prezzi scambiati) ignora completamnete la microstruttura del mercato su cui saremmo andati ad impattare.... cioè ignora una libera Imar-interpretazione del principio di Heisenberg- GiuliaP :D:D applicabile ai mercati finanziari.


@ Stea: arguta osservazione, ieri sera....;);) ma valeva solo per sistemi quantitativi che (anche ad insaputa dell'utente :D:D) facessero Stock screening su un universo ampio e paneuropeo (es lo Stoxx 600); roba tipo Haugen per intenderci.
Il mio era un discorso più generale e poteva essere tranquillamnete capovolto: se testo un sistema su DAX, FIB, EuroStoxx50...etc etc... e scopro che va storicamnete meglio sul FIB che su qualunque altra cosa.

Commetto overfitting se lo applico solo sul FIB??

@Ender richiederebbe una risposta a parte, ma in altra occasione, adesso non ho tempo.
 
Ultima modifica:
Anch'io tendo a preferire frequenze alte esattamente per i tuoi stessi motivi.

I Long Term Trend Following (LTTF) per me hanno tre tipi di difetti:

1) troppi pochi trades per essere statisticamente significativi (e per lo più raggruppati in clusters). Non ho mai capito quelli che dicono.... 2 segnali in media all'anno su 10 anni ed un CAGR del 13%.... questo per me è un segno di debolezza del sistema... e non di robustezza.

2) impossibilità di validazione in tempi "umani";

3) facilità di overfitting, poichè allungando a piacere la frequenza temporale si eliminano - per così dire - tutti i movimenti ciclici minori e si "trattengono" solo i movimenti di ampiezza temporale che interessano allo sviluppatore.

Però anche l'eccesso opposto ha seri problemi, non tanto collegati all'overfitting ma al fatto che chi sviluppa su frequenze troppo alte con dati retail (i prezzi scambiati) ignora completamnete la microstruttura del mercato su cui saremmo andati ad impattare.... cioè ignora una libera Imar-interpretazione del principio di Heisenberg- GiuliaP :D:D applicabile ai mercati finanziari.


@ Stea: arguta osservazione, ieri sera....;);) ma valeva solo per sistemi quantitativi che (anche ad insaputa dell'utente :D:D) facessero Stock screening su un universo ampio e paneuropeo (es lo Stoxx 600); roba tipo Haugen per intenderci.
Il mio era un discorso più generale e poteva essere tranquillamnete capovolto: se testo un sistema su DAX, FIB, EuroStoxx50...etc etc... e scopro che va storicamnete meglio sul FIB che su qualunque altra cosa.

Commetto overfitting se lo applico solo sul FIB??

@Ender richiederebbe una risposta a parte, ma in altra occasione, adesso non ho tempo.

Se non ho altri criteri per decidere su quale sottostante applicarlo, tanto vale che lo applico su quello dove in passato è andato meglio, o faccio la conta?
Poi se chiamare questa decisione overfitting o in altro modo non saprei.
 
pprllo, mi sei mancato! :D

...Cosi' se il nostro, con la serie dei prezzi davanti ha messo 4 indicatori e altrettanti parametri piu' qualche numerino, e stimiamo conservativamente uno spazio di 5 valori per ogni grado di liberta', iniziero' a valutare la possibilita' che il suo sistema possa essere "buono" senza un test out-of-sample quando mi fa vedere una distribuzione di returns che rigettano H0 con una confidenza di 0.99999999 (ovviamente senza aggiungere altri gradi di liberta')...

Personalmente ho risolto il problema a monte. Ritengo infatti impossibile validare in-sample qualunque modello con gli stessi strumenti utilizzati per costruirlo, per diversi motivi: a cominciare dal secondo teorema di Godel, per finire con semplici ragionamenti per assurdo (provare per credere :up:).

...Se ho capito il senso di cio' che dici (cioe', tornando alla mia brutta terminologia, pensi che il tempo sia utilizzabile come "variabile esplicativa"), ti dico che non solo condivido ma ho ragioni per pensare che la cosa sia piu' un fatto che un'opinione...

:up:

...Piuttosto, posto che ci ho smanettato ben poco e senza mai cavare un ragno dal buco posso chiederti il perche' del tuo scetticismo sui volumi, che teoricamente non sono un prodotto diretto dei prezzi ? Per la eccessiva notorieta' del dato ?...

Perchè, come i prezzi, le serie storiche dei volumi sono stracolme di rumore. Ovvero forniscono dati che analizzati da soli o con altri dati dello stesso tipo non solo non forniscono alcun valore aggiunto, ma aumentano il già enorme overfitting.
 
apro una parentesi che rasenta l'ovvietà e probabilmente è già stata considerata da tutti gli scriventi ma non andrebbe data per scontata dai nuovi: qui giustamente ci si preoccupa dell'overfitting per un TS che in finale deve effettuare previsioni, cioè contenere l'errore: se fosse statistica questa parte qui la listerebbero nella statistica inferenziale; siamo sicuri sicuri che la parte che usiamo per, passatemela, la statistica descrittiva sia adeguata? ossia lasciamo stare quello che farà il titolo x l'indice y il future z alla prossima barra, ma abbiamo almeno un certo consenso tra di noi, siamo certissimi noi stessi, nello stabilire che fino a questa barra ci trovassimo in una situazione e non in un'altra? se lo strumento di misurazione usato a posteriori già ci lascia in imbarazzo come possiamo pretendere che l'errore non esploda proiettandolo sulle stime. oppure non ci poniamo affatto il problema limitandoci a guardare le % di win e i DD? mi taccio.
 
Il punto, ripetuto da pprllo in maniera abbastanza confusa, è questo e solo questo. L'attesa che determina la scelta ha una distribuzione probabilistica favorevole per più e più motivi? Sì? No? "Sì" perchè? "No" perchè? O forse dobbiamo rivedere l'intera statistica frequentista? Quale il senso di un dibattimento fondato su un fenomeno che possiamo rilevare a posteriori coincidente con una stima sbagliata? E quale sarebbe la legge che determina una diversa frequenza della scommessa sposta le probabilità di successo? Probabilità = successi / tentativi condizionati. Condizionati da cosa? Questa è la domanda alla quale si deve rispondere ricordando che si tratta sempre e solo di probabilità. Ma questa è una discussione o una serie di liberi monologhi dove ognuno sostiene tesi più o meno singolari e rifugge da un qualsiasi tentativo di dimostrazione? A mercato mettete parole o soldi? Le prime sono soggette alle leggi della grammatica, della consecutio temorum, dell'analisi logica. I secondi solo dell'analisi logica che sottintende un mondo a priori. Quando faccio uscire una macchina dall'autosalone commetto overfitting se giro a destra invece che a sinistra o se mi attendo di trovare meno traffico andando diritto? O forse l'osservazione degli incidenti occorsi su un campione di guidatori esteso mi restituisce un corollario di stime che tradotte in un comportamento di guida prudenziale e ragionamenti controllati possono offrirmi probabilità di non incorrere in incidenti? Ma poi, se avete la soluzione, che aspettate ad esporla di modo che si possa controllare? O questo transatlantico di parole in libertà sta offrendo un imprudente inchino sottocosta?

Dear Mr Kilroy, after you read this 3d, you'd better argue leaving the car in the showroom and take a stunt peg to reach home.....

Davvero in questo 3d si pensa che la statistica non conti nulla nulla? Ma è una cosa straordinaria....
 
Non so se cade in un paradosso o se siamo noi che abbiamo una forma mentis inadatta a capire. Il fatto è che l'edq funziona meravigliosamente bene.

Ma mi incuriosisce la passione del professore verso la costellazione di Orione.
 
noi abbiamo probabilmente una difficoltà naturale a elaborare alcuni concetti.

Il primo fu quello di azione a distanza che molti fino al 1700 non accettavano.

Poi è venuto quello di spazio tempo curvo.

Poi quello di entanglement....
 
Tutti abbiamo delle certezze, è inevitabile e non si può vivere altrimenti.

Essere consapevoli di averne molte più di quante noi stessi riusciamo minimamente ad immaginare è molto più importante che credere di non averne.

Secondo me! :D

L'unica certezza oltre alla fede nella "Nera Signora" è che dovete cambiare pusher..
:)
questo per la vostra (e la nostra..) igiene mentale

Ciao !

maurizio
 

Users who are viewing this thread

Back
Alto