Overfitting (8 lettori)

GiuliaP

The Dark Side
Mi sento in vena di punzecchiare GiuliaP, perchè è stata una giornata davvero pesante quando mi aspettavo invece di cazzeggiare tranquillamente sul desk con pochi trade da fare.

Quando poi i problemi più che il mercato te li danno i colleghi, la giornata è delle peggiori.

Veniamo al dunque: la scorsa settimana ho chiacchierato un po' con gli smanettoni di Cross Validated (che fondamentalmente è lo Stack Overflow di statistica e data mining).

Butto lì il mio spunto: tassi d'interesse, spread creditizi, indici di stress finanziario etc. etc., insomma non serie di prezzi dentro al modello ma grandezze finanziarie legate al monetario e al credito.

Quale modello?

Classificatore (SVM o NN, de gustibus) in finestra mobile di uno o due anni.

Cosa c'è da classificare?

Le settimane in cui la variazione assoluta (cioè senza segno) dello S&P500 è maggiore di ciò che suggeriva il VIX la settimana prima e le settimane in cui è minore.

Ora: è emerso in back test che l'accuratezza di questa scatola nera sarebbe molto alta (c.ca 80%).

Mia obiezione: sfido bene!

E' risaputo che statisticamente il VIX è quasi sempre stato maggiore della HV dello S&P500, ma questo non significa alcunchè sulla profittabilità della relazione trovata: infatti siamo ancora all'interno dell'equilibrio tra venditori & compratori, ovvero [frequenti piccole vincite | rare enormi perdite] vs. [il viceversa].

Gli spunti di riflessione da condividere sono due:
- è possibile trovare di fatto un potere esplicativo di quelle variabili su quel "label" e che al tempo stesso questo non sia indice di una tecnica profittevole (che sarebbe la mia obiezione)?

- E' tuttavia possibile che un classificatore, come appunto una NN o una SVM, riesca a cogliere dei segnali di "nervosismo" o di "tranquillità" da quelle serie storiche con una o due settimane di anticipo per poi produrre previsioni così accurate?
(Specifico ovviamente che tutto è stato fatto senza sguardi al futuro e altre scorrettezze).

Ecco la mia preziosissimissima opinione! :cool:

I tuoi amici sono smanettoni abbastanza ingenui. Dagli il benvenuto nel fantastico mondo dell'overfitting. L'accuratezza delle NN et similia è impressionante (*). Peccato lo sia solo in backtest :D

Con quelle accuratezze non credo ci sia alcun potere esplicativo delle variabili, se non completamente stravolto in addestramento.

Riguardo il discorso formica/elefante, direi che non ho sufficienti dati per giudicare ;)

P.S. Digli di non usare l'exchange SMART per l'EUREX e di non fare macelli con le stringhe di richiamo DDE :lol:

(*) P.P.S. Se ricordo bene l'ho gia ribadito in passato a qualche allegro overfitter, senza essere peraltro (e giustamente) creduta! Sono veramente e sinceramente stupefatta di come sia difficile far comprendere cosa sia realmente l'overfitting. A me ormai risulta come respirare. Sarà perchè forse non ho ancora capito niente :D
 
Ultima modifica:

GiuliaP

The Dark Side
...Butto lì il mio spunto: tassi d'interesse, spread creditizi, indici di stress finanziario etc. etc., insomma non serie di prezzi dentro al modello ma grandezze finanziarie legate al monetario e al credito...

Dimenticavo: la filosofia dello spunto è corretta, ma non sufficientemente originale, ed assolutamente non adatta a NN.

P.S. Ormai sei un dark jedi, devi abituarti a pensare sempre "male" :)
 
Ultima modifica:

Cren

Forumer storico
I tuoi amici sono smanettoni abbastanza ingenui. Dagli il benvenuto nel fantastico mondo dell'overfitting.
Sono persone preparatissime (molto più di me che su molti temi sono solo un autodidatta), ma purtroppo (o per fortuna? :D) ragionano da statistici con la forma mentis di cui più volte s'è parlato anche in questa discussione, ovvero che i dati sono solo numeri da tritare e interpretare spesso indipendentemente dalla loro natura e provenienza.

A me interessava particolarmente il problema di quanto è rapido il decadimento di prestazioni (accuratezza) di un classificatore nell'ambito dell'apprendimento supervisionato, quello del VIX contro tassi d'interesse e spread di credito era un esempio che ho calato sul tavolo io perchè mi facessero vedere qualcosa; come ho scritto su FOL, nell'ultimo mese ho giocherellato un po' con SVM e simili e quindi volevo vedere qualcosa di un po' più serio all'opera.

Per me l'accuratezza out of sample, ripeto, è legata al fatto che mediamente hai sempre VIX maggiore del rendimento assoluto dello S&P500 tranne che in eventi particolari, e quindi anche il classificatore - mentre apprende - elabora una serie di regole che come minimo non andranno a peggiorare il numero di casi vincenti ma in più cercherà di azzeccare qualche settimana un po' movimentata (dubito possa riuscirci troppo bene, comunque).

Quindi l'accuratezza elevata non mi ha affatto stupito, semmai il punto è che sono più che mai convinto che questo non dica nulla sulla profittabilità.
 

GiuliaP

The Dark Side
Sono persone preparatissime (molto più di me che su molti temi sono solo un autodidatta), ma purtroppo (o per fortuna? :D) ragionano da statistici con la forma mentis di cui più volte s'è parlato anche in questa discussione, ovvero che i dati sono solo numeri da tritare e interpretare spesso indipendentemente dalla loro natura e provenienza.

Bravo. Per questo è fondamentale ragionare fuori dagli schemi: sia per non farsi imprigionare dagli stessi, sia per trovare strade "solitarie" e soprattutto non cieche.

A me interessava particolarmente il problema di quanto è rapido il decadimento di prestazioni (accuratezza) di un classificatore nell'ambito dell'apprendimento supervisionato,

Il decadimento è totale e immediato: il problema è quando accorgersene ed accettarlo! :)

...Per me l'accuratezza out of sample, ripeto, è legata al fatto che mediamente hai sempre VIX maggiore del rendimento assoluto dello S&P500 tranne che in eventi particolari, e quindi anche il classificatore - mentre apprende - elabora una serie di regole che come minimo non andranno a peggiorare il numero di casi vincenti ma in più cercherà di azzeccare qualche settimana un po' movimentata (dubito possa riuscirci troppo bene, comunque).

Certo. Ed in questi casi l'overfitting sarà addirittura ancora peggiore (se possibile) perchè la rete si adatterà perfettamente ai pochi casi negativi, e quindi il sistema non solo non avrà nessun potere previsionale, ma illuderà e metterà in condizioni di pericolo molto peggiori e inattese.

Quindi l'accuratezza elevata non mi ha affatto stupito, semmai il punto è che sono più che mai convinto che questo non dica nulla sulla profittabilità.

Perfetto ;)
 
Ultima modifica:

tstudent

Nuovo forumer
Eccomi di ritorno. Vedo che avete scritto ancora tanto, niente siete troppo veloci e non reggo il passo.
Modelli di trading, overfitting e diavolerie simili. Dovrebbe essere questo il principale oggetto del contendere in questo forum.
Personalmente non riesco neppure a pensare al trading come ad un qualcosa di esclusivo. Ok non tutti i modelli e metodologie sono equiparabili in termini di probabilita' ex-ante di funzionare real-life. Ma questa in particolare e' davvero una faccenda delicatissima in cui, anche per la natura degli oggetti stessi che si intende modellare, la parola d'ordine e' incertezza. Insomma c'e' da prendere sempre e comunque un rischio (che spesso e' molto piu' grande di quanto lo si valuti a causa di giusto un paio di bias cognitivi, non da ultimo la speranza che la vostra creatura funzioni e vi renda ricco e/o famoso....e la non accettazione del contrario, ovvero dell'amara realta').
A complicare le cose v'e' anche un'ulteriore considerazione. Non soltanto abbiamo un problema di possibile illusorieta' del modello prescelto (in altri termini in backtest funziona bene, vi sembra anche di cogliere una sicura ragionevolezza economica mentre in realta' potreste essere di fronte ad una pura illusione). Ma ammettiamo che cosi' non sia. Cioe' supponiamo che siate stati abbastanza bravi e fortunati da cogliere un reale debole determinismo "sfruttabile". Non e' fatta per niente perche' quello stesso modello potrebbe in un futuro non troppo lontano iniziare a degradarsi e a giocarvi contro. Anzi togliamo anche il potrebbe. E' cosa praticamente certa, e' solo una questione di tempo. I soldi che avete inizialmente guadagnato, fino a quando continuerete a giocare, non sono vostri. Sono solo temporaneamente parcheggiati sul vostro conto. Quindi capite la infinita complicazione. Non soltanto bisogna "beccare" il modello, ma bisogna anche beccare il timing sullo stesso. Cioe' avere la forza di dire basta al momento giusto, ritirare il malloppo e goderselo. Quanti sono coloro che riescono ad avere simultaneamente tanta bravura, lucidita' e fortuna?
Beh, le statistiche sono impietose. Quanti nella storia possono dire di aver fatto i soldi veri con il trading? Ora pero' non mi dite, ma veramente io, l'anno scorso, avrei guadagnato qualche decina di migliaia di euro con il mio modello. Parlo di soldi veri, quelli per cui vale la pena iniziare e continuare un business. Ed un trader non dovrebbe sfuggire ad una logica imprenditoriale costi/benefici.
Comunque in percentuale il numero di queste persone e' sicuramente esiguo. E persino questa minoranza di vincitori potrebbero semplicemente essere dei "necessari" sopravvissuti. In fondo, tra milioni di persone che ci provano o c'hanno provato in passato, qualcuno che abbia inanellato una sequenza di sette, otto, dieci anni di performance decorose ci doveva necessariamente essere, e' fisiologico che sia cosi'.

Non voglio demonizzare i modelli di trading. Ma non posso neppure pensare ad essi se non inseriti con pesi contenuti all'interno di un portafoglio di piu' ampio respiro. Diciamo anche che non posso per ragioni normative ;-)
Ma comunque la regola e': ci si prende il rendimento che il mercato di anno in anno decide di volerti dare. All'interno di questa logica, se proprio sono propenso alla speculazione (e quindi all'assunzione di forti rischi che potrebbero penalizzare, ma assolutamente non devono distruggere le performance complessive della vostra gestione se vogliamo conservare un minimo di raziocinio), posso valutare un basket di modelli di trading pesati in modo congruo. Ho scritto basket non a caso. Non mi affiderei ad un singolo modello, per quanto la sua logica e metodologia di costruzione possa darmi un qualche affidamento. Una metodologia "robusta" non sposta in modo drammatico le probabilita' a nostro favore. Ne abbiamo qualcuna in piu' ma non tante da giustificare un approccio talebano. Ed inotre cercherei anche di diversificare tra modelli, andando persino oltre le tradizionali dimensioni della diversificazione: strumenti, asset class, aree geografiche, frame temporali (quest'ultima per la verita' non molto consueta).

Insomma ragazzi, capisco la passione ed il fascino che i modelli di trading esercitano, del resto e' dagli albori dell'umanita' che l'essere umano prova a conseguire l'obiettivo della ricchezza facile e comoda nelle forme piu' svariate. Pero' non possiamo perdere la lucidita' e non inquadrare la faccenda nella giusta prospettiva storica (quanti ci sono riusciti? sono stati bravi o semplicemente una necessaria e fisiologica minoranza eletta dalla dea bendata?).
Per concludere, nell'ottica della passione e del piacere intellettuale della ricerca ed automiglioramento, siano i benvenuti la ricerca, il trading e tutto cio' che ruota intorna ad essi.
Se invece l'obiettivo primario se non esclusivo e' "fare i soldi" allora la trovo una delle modalita' piu' stupide. Nessun imprenditore sano di mente poggerebbe mai un business su delle basi cosi' traballanti ed incerte. Un rapporto costi/benefici tra i piu' sfavorevoli che possano essere concepiti. Pensate al solo costo tempo impiegato per arrivare a sapere tutto cio' che ora sapete.....e che non vi serve a molto per quel fine, almeno a giudicare dalla longevita' e dal tempo che impiegate a scrivere su questo forum!. Battuta :)
Ribadisco, se l'obiettivo primario sono i soldi le strade e le cose a cui guardare sono altre. A voler rimanere nel mondo finanziario, che e' quello che piu' conosco dall'interno, queste strade le trovo anche evidenti. Spesso anzi mi meraviglio di come non le si veda o non le si voglia vedere.

Mamma mia quanto ho scritto!!! Mi son lasciato un po' prendere la mano, tra l'altro dicendo cose che sicuramente avrete sentito milioni di volte... sorry :)
Vabbe' la smetto subito e inizio ad entrare in modalita' vacanze. Sono letteralmente devastato da quest'annata e l'anno prossimo mi aspetta una sfida non semplice dove la posta in gioco e' si altissima, ma anche il rischio non e' male. E' sempre cosi' che funziona, nella vita come nel trading THERE'S NO SUCH THING AS FREE LUNCH ;-)
Vi saluto tutti e ci si risente magari piu' in la.
 

GiuliaP

The Dark Side
...Modelli di trading, overfitting e diavolerie simili. Dovrebbe essere questo il principale oggetto del contendere in questo forum...

No, per fortuna non sei il PhD!!! :D

...Insomma ragazzi, capisco la passione ed il fascino che i modelli di trading esercitano ... però ... (omissis) ... se l'obiettivo primario sono i soldi le strade e le cose a cui guardare sono altre. A voler rimanere nel mondo finanziario, che e' quello che piu' conosco dall'interno, queste strade le trovo anche evidenti. Spesso anzi mi meraviglio di come non le si veda o non le si voglia vedere...

Il solito problema di definizioni :D. Perchè quelle strade di cui parli possono tranquillamente essere considerate "modelli di trading", se non addirittura "trading system", e sfruttare parte della teoria attinente. E francamente, come la maggior parte delle scoperte, è vero che sono evidenti, ma (per fortuna) lo diventano solo dopo essere state trovate, e (sempre per fortuna) solo per chi le trova!

Per il resto non fa una piega! Per ora direi che ho visto giusto! :lol:
 
Ultima modifica:

Users who are viewing this thread

Alto