Overfitting

[Ronzy2001]

Eppure quello stesso concetto l'ho ripetuto mille volte.

Ma detto da me non ti piaceva!

Si ma a me bisogna spiegarmi le cose come ai bambini, meglio se con disegnino...

 

[pprllo]

Ma, per passare dal magico regno della misura e dei segnali a quello reale, misurare l'overfitting a posteriori non equivale forse a mettere il TS a mercato e vedere l'equity ? Non la definirei propriamente un'attivita' utile a mero fine autoconsolatorio.

 

[Paolo1956]

L'overfitting, prima ancora di capire se è misurabile, è "osservabile".

Anche se Paolo è sicurissimo che "una cosa che non si può misurare non può far parte di un discorso scientifico"

Avrei voluto lasciargli almeno questa "granitica sicurezza", soprattutto per evitare il protrarsi di un infinito OT di polemiche fini a se stesse (anche su questo stea aveva ragione).

Perchè è polemico partecipare ad una discussione senza aver letto o potuto comprendere (mi riferisco alla parte opzionistica) per lo meno le linee guida.

E' polemico cercare per tentativi una definizione che si è già deciso a priori di criticare, come ignorare link di ulteriori definizioni del tutto assonanti.

E' polemico ipotizzare che io abbia manipolato la definizione wiki en di "overfitting".

E' polemico voler a tutti i costi invalidare una definizione di un concetto che viene discusso in base a quella stessa definizione, e non per come si chiama (si può decidere di chiamare quella definizione "overtopolino" e parlarne ugualmente). Come se fosse una questione semantica.

E' polemico voler lasciare l'overfitting (quello di topolino) al di fuori della ricerca, scientifica e non, perchè "non misurabile".

"Last but not least", è polemico il procedere per lenti ed incespicanti passi senza voler mai dare una risposta definitiva, dando l'idea che tale risposta neanche la si abbia.

addirittura.....

 

[pprllo]

bla bla bla

Beh, mica deve per forza emergere che mi sono rovinato.
Proprio per questo parlavo di attivita' utili ad altri fini oltre a quello meramente autoconsolatorio.

Comunque sia P(x) che P(y) a mio avviso sono abbastanza serenamente approssimabili ad 1.

 

[pprllo]

@GiuliaP: ho letto un po' i tuoi messaggi variamente sparpagliati per il thread, cercando di tirare fuori un po' di sugo.

Mi sembra (e mi perdonerai se la mia impressione e' errata) che tu dica:
1) Piu' variabili esplicative indipendenti si testano, maggiore e' la possibilita' di individuare delle relazioni robuste.
2) Meno le variabili esplicative che testiamo sono note, maggiore e' la possibilita' di individuare delle relazioni non ancora scontate dal mercato.

(queste prime due le potremmo classificare come "information premium")

3) La validazione delle relazioni individuate va condotta out-of-sample quanto possibile e tutte le relazioni che non appaiono immediatamente robuste sul testing out-of-sample vanno scartate.

(questo lo potremmo definire come "selection premium")

4) L'intera piattaforma deve essere quanto piu' possibile automatizzata allo scopo di minimizzare i bias e risparmiare tempo.

(questa la potremmo classificare come "technological premium")

Ti ritrovi con questo sommario ?

Volevo discutere del concetto di "robustezza" di una stima e di come questo sia spesso usato a mio avviso in modo fin troppo elastico in studi che si ripromettono di essere "quantitativi". L'impressione e' che spesso si accetti il dogma del mercato "poco predicibile" e ci si accontenti di risultati previsivi molto discutibili, usando come proxy della "robustezza" parametri che non lo sono affatto.

A tale scopo porto provocatoriamente come esempio negativo un paper che e' stato letto credo ormai anche dal mio gatto:
http://papers.ssrn.com/sol3/Delivery.cfm/SSRN_ID1421442_code649342.pdf?abstractid=962461&mirid=1

Considerazioni miste:
pag. 15) Istogramma dei returns. Scrivendo le distribuzioni empiriche cumulative e facendo un fetentissimo test di Kolmogorov-Smirnov, l'ipotesi nulla non viene rigettata ad alcun livello di significativita' apprezzabile.
pagg. 18-21) Il selection bias sulle date di inizio e fine del test e' cosi' evidente da risultare irritante. Inoltre si nota una fortissima clusterizzazione temporale dell'extra-performance, peraltro piu' o meno sincrona su tutte le asset class. Le asset class scelte non sono cosi' scorrelate tra loro da garantire un test veramente esente da bias.
pag 26) Di nuovo, facendosi a mano le distribuzioni cumulative empiriche, K-S non ci pensa nemmeno a rigettare H0.
pagg 39-40) La differenza dell'indice di Sharpe e' praticamente distribuita come una variabile normale, inoltre si presenta come pesantemente clusterizzata temporalmente, al punto che dall'inizio degli anni '30 alla fine degli anni '90 il modello di timing suggerito e' una clamorosa perdita di tempo (e denaro, qualora si conteggino i costi di transazione).

 

[GiuliaP]

Ma, per passare dal magico regno della misura e dei segnali a quello reale, misurare l'overfitting a posteriori non equivale forse a mettere il TS a mercato e vedere l'equity ? Non la definirei propriamente un'attivita' utile a mero fine autoconsolatorio.

Ma certo. Se l'overfitting si riuscisse a misurare, il problema lo si risolverebbe a monte, e l'overfitting non lo si produrrebbe affatto, ovvero lo si ridurebbe ad una forma tollerabile. Come già detto anche da Kilroy.

L'overfitting non è misurabile per definizione.

Rimane consolidato l'assunto che il tuo cambiare strategia a fronte di una osservazione dell'overfitting è una stima composta da: la stima su un fenomeno negativo pari alla sovraottimizzazione dei parametri, con probabilità x e la stima che una strategia diversa possa risultarne esente con probabilità y...

Secondo me non vanno semplicemente cambiate le strategie. Secondo me va cambiato il metodo alla base della loro costruzione. Secondo me va capito, in funzione dell'overfitting, quali sono i "tipi" di strategie che hanno una minima speranza di riuscita. Secondo me va compreso quali sono gli approcci che inevitabilmente portano overfitting, e quali invece riescono a ridurlo sensibilmente. E secondo me lo si può fare solo quando si ha metabolizzato in forma maniacale il concetto di overfitting. Secondo me. Solo secondo me. Semplicemente secondo me (per quello che può valere).

Quindi, la misura ex post è diversa da una misura ex ante, essendo la prima certa, la seconda impossibile da certificare...

Questo confesso di non averlo capito: cosa intendi per misura ex ante? Non vorrei finire a criticare anch'io qualcosa prima di averla compresa.

 

[pprllo]

No pprlo, purtroppo no, per nessun punto. Ma ti ringrazio di avermelo chiesto.

Se quoti le mie parole sarò felice di commentarle, se ne sei interessato.

Fortunatamente hai pochi post quindi mi ci e' voluto un attimo.
Sfortunatamente l'interfaccia si e' mangiata il primo messaggio e ho bestemmiato per circa 4 minuti consecutivi.

Dunque, andiamo in ordine.

1) Piu' variabili esplicative indipendenti si testano, maggiore e' la possibilita' di individuare delle relazioni robuste.
2) Meno le variabili esplicative che testiamo sono note, maggiore e' la possibilita' di individuare delle relazioni non ancora scontate dal mercato.

Quindi il terzo passo dovrà essere verificare questo, e soprattutto verificare che in rete non esista alcun minimo riferimento a questa idea.
Cercando non certo solo con google, ma su tutti i forum/siti specialistici in lingua inglese.
A questo punto potremo procedere non sapendo di avere ancora niente di buono ma almeno sapendo di aver utilizzato in maniera più efficiente il nostro tempo.

In generale il problema è guardare dove il mercato non guarda, non riesce a guardare, o non riesce a quantificare quello che guarda. Sia studiando il presente che il passato.

In realta' si legge piu' chiaramente la (2), ma la (1) mi pare necessario corollario, dato che all'aumentare del numero di variabili testate, ceteris paribus, aumenta anche la probabilita' di trovare una variabile con un buon potere esplicativo e poco conosciuta. Inoltre quaglia con il tuo successivo insistere sull'automatizzabilita' del metodo. Se non ci fosse un problema "quantitativo" uno potrebbe pure andare "a occhio" (alla fine di regole non e' che bisogna trovarne 3000).

3) La validazione delle relazioni individuate va condotta out-of-sample quanto possibile e tutte le relazioni che non appaiono immediatamente robuste sul testing out-of-sample vanno scartate.

Il quarto passo inevitabilmente sarà quello di testare l'idea quando possibile ricostruendo lo storico adatto ad essa, e quando non possibile impiegando il futuro prossimo per farlo, avendo cura di costruirci un adeguato database che ci tornerà utilissimo in fase di ottimizzazione.

Infatti quest'ultima sarà il quinto passo dove, se il quarto passo avrà dato esito sufficientemente positivo senza alcuna modifica all'idea iniziale, dovremmo sperabilmente ottenere più fitting che overfitting. E quindi potremo dare via libera a tutte le fantasiose tecniche esposte in questa sezione, dalla fazzy logic, passando per gli algoritmi genetici, per finire alle magnifiche reti neurali, ideale connubio.

Tuttavia è importante tener presente che se il quarto passo non avrà dato immediato riscontro senza la seppur minima ottimizzazione, molto meglio cambiare subito idea e ricominciare da capo. Pena ritrovare in maniera massiccia e annichilente il nostro amico overfitting nella fase successiva.

4) L'intera piattaforma deve essere quanto piu' possibile automatizzata allo scopo di minimizzare i bias e risparmiare tempo.

Il primo passo è osservare il mercato, ma assolutamente non attraverso le sue serie storiche. Osservare il mercato nella sua struttura, nelle sue dinamiche nelle sue poche evidenti causalità. Oggi. Ci sono vari metodi per farlo in maniera più o meno efficiente: ognuno dovrà usare quelli che ha a disposizione. Quindi fortunato chi avrà a disposizione un'approfondita conoscenza del C .

Per inciso preferisco il C++, che e' quello con cui ho iniziato, scio' a voi C-isti ed alle vostre funzioni con 400 argomenti, di cui 399 puntatori.

Si può fare anche a "occhio", ma così ti sfugge moltissimo e devi essere fortunato. Il metodo di ricerca, quanto più efficace è, meno richiede l'intervento della fortuna

L'unico punto del tuo discorso in cui non mi ritrovo e' questo:

Il primo passo è osservare il mercato, ma assolutamente non attraverso le sue serie storiche.

che peraltro mi pare in contraddizione con questo:

In generale il problema è guardare dove il mercato non guarda, non riesce a guardare, o non riesce a quantificare quello che guarda. Sia studiando il presente che il passato.

Ma mi viene il dubbio che tu con "osservazioni sulle serie storiche" intenda un tipo particolare di osservazione, ovvero quella che ricerca correlazioni variamente caratterizzate tra i valori di una singola serie storica. Dubbio che sembra confermato da questo passaggio qui:

Il primo corollario al principio di Heisenberg-GiuliaP ci anticipa che testare questa idea sugli storici disponibili dovrà essere impossibile.

Il quarto passo inevitabilmente sarà quello di testare l'idea quando possibile ricostruendo lo storico adatto ad essa

Ovvero, per me un test su una serie storica "ricostruita" e' un test su serie storiche, per te apparentemente no.

PS: Nel nick ci vanno due L!

 

[pprllo]

Ma certo. Se l'overfitting si riuscisse a misurare, il problema lo si risolverebbe a monte, e l'overfitting non lo si produrrebbe affatto, ovvero lo si ridurebbe ad una forma tollerabile. Come già detto anche da Kilroy.

L'overfitting non è misurabile per definizione.

Non ho capito perche' "non misurabile usando gli stessi dati usati per il fitting" sarebbe equivalente a "non misurabile".

Sono al momento T1, ho una serie empirica F(T), fitto la funzione predittore F'(T) con i dati da T0 a T1, ci sara' pure un'istante T2 > T1 in cui posso confrontare F(T2) con F'(T2). A questo punto l'overfitting puo' essere proprio misurato a patto di stabilire una metrica adeguata.

Paolo poneva il problema in termini fisici di misurabilita' o meno della grandezza, il fatto che l'overfitting fatto in T possa essere misurato solo in T+DT e' irrilevante da questo punto di vista, no ?

PS: In fisica osservabile e misurabile sono la stessa cosa. Come per il concetto di overfitting, non e' un fatto di opinioni, ma di definizioni.

 

[Paolo1956]

Osservare e misurare sono sinonimi.

PGiulia ritiene che io sia animato da una critica a priori alle sue parole.

Sbaglia, mi limito a discutere punti che non capisco o su cui non sono d'accordo.

Ad esempio, trovo interessante il suo personale metodo per evitare overfitting. Naturalmente anche altri modi possono avere successo.

 

[GiuliaP]

...1) Piu' variabili esplicative indipendenti si testano, maggiore e' la possibilita' di individuare delle relazioni robuste...

Era il concetto di "variabile esplicativa" che non mi quadrava. Ma potrebbe essere dovuto al semplice fatto che parliamo due lingue differenti e che io faccia molta fatica a capire la tua (per mancanze di relative basi), e quindi nella diversa formalizzazione dei problemi nascono fraintendimenti (probabilmente solo da parte mia). Sicuramente rileggendo con attenzione, la tua "traduzione formale" potrebbe essere più o meno corretta, al contrario di quanto ti ho detto prima (come parziale giustificazione posso aggiungere che mi risultava anche difficile capire a cosa ti riferissi, senza quote); ma francamente non sono neanche in grado di verificarlo.

Perdonami se non ti quoto punto per punto:

-) Mi sento di tornare a scartare il tuo punto 4.
-) Il "primo passo" non è regola generale, ed io non credo vi sia contraddizione con il successivo quote.
-) Con "osservazioni sulle serie storiche" intendo osservazioni sulle serie storiche di prezzi battuti. Spesso l'ho specificato; altre volte, forse superficialmente, l'ho dato per sottinteso. Fuor di dubbio che una "serie storica costruita o ricostruita" è pur sempre una serie storica. Ma a me sembra un cavillo abbastanza facilmente intuibile. Del resto se ci si mette a spulciare certosinamente i miei post senza un minimo di interpretazione, di errori formali se ne trovano sicuramente tantissimi. Oltre a tutti gli altri

Non ho capito perche' "non misurabile usando gli stessi dati usati per il fitting" sarebbe equivalente a "non misurabile"...

Ma infatti non lo sono. Paolo, secondo me, voleva addirittura arrivare non solo a dire che l'errore di overfitting è misurabile, ma che lo si può fare con lo stesso "strumento di misura" che genera l'errore, per usare una metafora scientifica (e per una volta tanto non scomodando Godel).

Un esempio di misurazione di overfitting, allo scopo di verificare in laboratorio l'efficacia di una tecnica di modellizzazione empirica, lo si ottiene facendo fitting su un sistema fisico ben modellato, ed utilizzando lo stesso modello affidabile, in fase di studio e progettazione, per misurare l'overfitting fatto dal modello empirico (preferito magari per questioni pratiche di rendimento e/o realizzazione). Ma purtroppo non è il caso in discussione, visto che, come già detto 1.000 volte, l'"underlying relatinship" del mercato non la conosciamo (altrimenti buttiamo tutto ed andiamo direttamente in vacanza).

...Paolo poneva il problema in termini fisici di misurabilita' o meno della grandezza, il fatto che l'overfitting fatto in T possa essere misurato solo in T+DT e' irrilevante da questo punto di vista, no ?

L'overfitting fatto in T secondo me non è misurabile neanche in T+DT, come forse (forse) voleva sottolineare stea.

...PS: In fisica osservabile e misurabile sono la stessa cosa. Come per il concetto di overfitting, non e' un fatto di opinioni, ma di definizioni.

Quali definizioni? Wiki it oppure wiki en?

Disclaimer: tutto quanto io possa dire o aver detto, sono semplici opinioni personali. Lungi da me voler asserire verità assolute. Del resto non so se sarei più stupida io nel volerlo fare, o chi mi legge nel volerlo interpretare. Fermo restando che il fatto che le mie opinioni generino reazioni tanto forti e attente non può che lusingarmi.