Overfitting

[GiuliaP]

E' troppo divertente per non starci comunque ...

Vista la tua grande simpatia, ti regalo un esempio che ti piacerà moltissimissimo

Senza storico, senza verifiche ex post, senza ottimizzazioni

L'8 maggio 2008, e giù di li, una volta visto come Berlusconi inseriva nei posti chiave della politica mafiosi, circensi, puttàne e puttànieri, scommettere sull'allargamento dei differenziali (tutti) Italia Germania (o altro a piacere), era un rigore a porta vuota (alla Buffett ).

Piaciuto?

Disclaimer: come ben sai trovo sempre ridicole le strategie dichiarate a posteriori: in questo caso però lo faccio solo a fini esplicativi sul topic. Mi raccomando, non sparare sulla croce rossa

P.S. Non mi prendere alla lettera anche qui, mi raccomando. Stiamo giocando. O finisci a farmi programmare sistemi esperti sulle personalità di governo!

 

[Cren]

[...]

Ti svelo un segreto: GiuliaP non ha fatto un errore di battitura a storpiare il tuo nome in «straless», l'ha fatto apposta... Fidati, è veramente diabolica

Vista la tua grande simpatia, ti regalo un esempio che ti piacerà moltissimissimo

Senza storico, senza verifiche ex post, senza ottimizzazioni

L'8 maggio 2008, e giù di li, una volta visto come Berlusconi inseriva nei posti chiave della politica mafiosi, circensi, puttàne e puttànieri, scommettere sull'allargamento dei differenziali (tutti) Italia Germania (o altro a piacere), era un rigore a porta vuota (alla Buffett ).

Piaciuto?

Sai di prendermi per un appiglio gradito quando tiri in ballo queste cose, non vale

Se non volessi limitarmi a sedermi qui e gongolare godendomi, oltre a questa pessima allitterazione, il suono soave di

Berlusconi inseriva nei posti chiave della politica mafiosi, circensi, puttàne e puttànieri

potrei obiettare che anche un mercato efficiente era potenzialmente in grado di conoscere tutto questo, a meno che la stampa estera non avesse iniziato il suo squisito martellamento solo dopo le esternazioni della Lario sui rapporti con le minorenni e le candidature di varie troie al Parlamento Europeo ...ma di tempo per comprare Bund e vendere BTP ce ne sarebbe stato tanto comunque...

Sappiamo che in realtà, stando ai rendimenti, della necrosi dell'Italia ce ne siamo accorti solo ora, e difatti mi stupisco sempre di quanto a volte il mercato sembri miope, salvo ripetermi che probabilmente la sa più lunga di me.

 

[GiuliaP]

...potrei obiettare che anche un mercato efficiente era potenzialmente in grado di conoscere tutto questo, a meno che la stampa estera non avesse iniziato il suo squisito martellamento solo dopo le esternazioni della Lario sui rapporti con le minorenni e le candidature di varie troie al Parlamento Europeo ...ma di tempo per comprare Bund e vendere BTP ce ne sarebbe stato tanto comunque...

Sappiamo che in realtà, stando ai rendimenti, della necrosi dell'Italia ce ne siamo accorti solo ora, e difatti mi stupisco sempre di quanto a volte il mercato sembri miope, salvo ripetermi che probabilmente la sa più lunga di me.

Infatti il mercato non è efficiente: ce lo siamo detti e ridetti. Il discorso è su "come" trovare le inefficienze. Ovvero come evitare overfitting.

In generale il problema è guardare dove il mercato non guarda, non riesce a guardare, o non riesce a quantificare quello che guarda. Sia studiando il presente che il passato.

In questo banale, simpatico e un pò fuorviante esempio, stiamo parlando di confrontare l'utilità di serie storiche con quella di dati esterni da sincronizzare con le stesse.
E questa volta non aspetterò Imar per farti ribadire ancora una volta quanto uno stimatore tecnico o econometrico, ovvero statistico, (non) possa tenere in conto questi fattori unicamente attraverso il loro output finanziario.
Significherebbe farsi giocare dal caso, in piena regola.

Della necrosi dell'Italia, malattia dalle dinamiche molto lente rispetto al mercato, qualcuno se ne sarà accorto anche un pò prima, fidati. Ma soprattutto non l'avrà fatto osservando le serie storiche, ne ignorando il secondo corollario di Heisenberg-PgiuliaP

Ti ho aspettato al varco per i ridicoli OI, e ti aspetterò ora alla porta maestra. Ma non tardare troppo, perchè non hai tempo infinito. Confesso io stessa di esserci arrivata in molto molto meno tempo di te (ma ho avuto la fortuna di poter usare strumenti overfittanti realmente potentissimi, altro che econometria ; e soprattutto sono una donna, quindi è comprensibile ).

P.S. Per favore, non focalizzarti su pittoreschi esempi creati a scopo di compiacimento in una discussione informale; e togliti quei due prosciuttoni dagli occhi!

P.P.S. Starlass, non è vero, sono una angioletta!

 

[Cren]

Mentre mi prendo il piacere di commentare il resto (cosa che poi equivale a proseguire il nostro interessante dialogo su cosa è overfitting e cosa invece è fitting) a quando avrò la lucidità che il tardo pranzo del sabato toglie sistematicamente, mi soffermo su questo:

...ma ho avuto la fortuna di poter usare strumenti overfittanti realmente potentissimi, altro che econometria

Assodato che tanto è roba che non funziona, potresti fare un po' di disclosure e svelarci quali sono questi «strumenti overfittanti realmente potentissimi» che fanno impallidire i modelli econometrici?

Non è che finiamo nel data mining più selvaggio?

L'unica osservazione lontanissimamente e sperabilmente intelligente che mi sento di fare in questo momento è: assumi che io raccolga "dati segreti" che il mercato non guarda, roba che non appartiene a serie finanziarie ma che funziona da anticipatore delle serie finanziarie (parliamo di questo in soldoni, no?); ebbene: poichè il fitting su serie storiche non va fatto (a meno che non siamo già alla fine del tuo pentalogo), devo dedurne che solo la mente umana possa elaborare col ragionamento il legame tra queste misteriose variabili esogene e le variazioni di prezzo degli strumenti finanziari nel periodo successivo. L'osservazione: come questa padellata di discrezionalità è compatibile con un approccio totalmente sistematico al mercato?

Sai, mi scoccerebbe molto affidare la mia sopravvivenza finanziaria alla mia lucidità mentale e non ad un procedimento potenzialmente automatizzabile dall'inizio alla fine.

Prescindo in questo caso dal fatto che il metodo per cercare inefficienze sia ciò che va affinato, perchè anche col miglior "setaccio" poi non puoi lasciare che sia la tua testolina a dirti quando entrare, quando uscire e con che frazione.

 

[skew]

...

Sai, mi scoccerebbe molto affidare la mia sopravvivenza finanziaria alla mia lucidità mentale e non ad un procedimento potenzialmente automatizzabile dall'inizio alla fine.

...

Ti scoccerebbe, perché ti dà un finto senso di sicurezza.

"Lo dicono i numeri!"

Ti estrania dalla competizione: ma il mercato non funziona così, sei tu contro tutti gli altri.
Se poi hai degli strumenti analitici che possono formalizzare l'intuizione, ben venga... ma non è quella la discriminante.

Sempre IMHO, eh

 

[Ronzy2001]

Sai, mi scoccerebbe molto affidare la mia sopravvivenza finanziaria alla mia lucidità mentale e non ad un procedimento potenzialmente automatizzabile dall'inizio alla fine.

I sistemi sono soldatini stupidi per quanto armati fino ai denti. Il generale che pianifica e conduce l'azione per me non si può automatizzare.

 

[Cren]

[ TTrading ] "How Twitter Is Transforming Trading in Commodities" by @News Headlines / @Reef @P.A.T. @Cren @Imar @GiuliaP @Skew @Starless @Cammello @Maveri75 @Ronzy2001 @Luka46

[ TTrading ] "Hedge Fund to Predict Markets Using Twitter" by @News Headlines / @Reef @P.A.T. @Cren @Imar @GiuliaP @Skew @Starless @Cammello @Maveri75 @Ronzy2001 @Luka46

Altri nomi inerenti il thread...omissis.

Non sei il primo che mi racconta questa cosa, già SnakePlinsky me ne aveva parlato. Non pensavo che in così poco tempo potesse acquisire questa rilevanza, però.

 

[GiuliaP]

...il nostro interessante dialogo su cosa è overfitting e cosa invece è fitting...

...Non è che finiamo nel data mining più selvaggio?...

...poichè il fitting su serie storiche non va fatto...

Quando le spari, vai a raffica

Come già detto, cosa è fitting e cosa è overfitting non è materia di dialogo: hanno definizioni ben precise.

Il dialogo è su come, dove, quando e perchè si ottiene overfitting invece di un sano fitting.

Idem per il data mining (anche qui wikipedia inglese può aiutare ), che non è altro che una procedura che può generare fitting oppure overfitting, a seconda di come, dove, quando e perchè viene utilizzata.

Non sei il primo che mi racconta questa cosa, già SnakePlinsky me ne aveva parlato. Non pensavo che in così poco tempo potesse acquisire questa rilevanza, però.

Quello che scrive snake va letto sempre con grande attenzione. E' uno di quei pochissimi che sa sempre di cosa stà parlando. E lo sa molto bene

 

[Imar]

Se torturate i numeri abbastanza a lungo … confesseranno qualsiasi cosa[FONT=&quot] (Murray E Enkin[/FONT])

Allora mi segnalano....

...vediamo di capire se effettivamente "sti gnocchi" di giovedì hanno un senso logico ovvero se questa soglia del mercoledì>1 è una soglia arbitraria e se c'è evidenza di rendimenti anomali il giovedì.
……………………………….

...tuttavia nel secondo grafico vedo che il rendimento assoluto medio del giovedì è secondo solo al lunedì (effetto weekend "de paura").

Il rendimento assoluto è un proxi della volatilità quindi, c'è attenzione il giovedì.

Il motivo "logico" possono essere solamente gli annunci di FOMC,BCE..etc..etc...etc..che, in tempi di crisi assumono rilevanza maggiore.

L'ipotesi quindi quale potrebbe essere, relativamente al nostro derivato da poveracci:
che la maggiore informazione operante sul FIB non prenda posizione il giovedì degli annunci ma lo faccia di mercoledì determinando chiusure più o meno positive a seconda della percentuale di affidabilità dell'informazione posseduta.

Un utente che è passato su FOL (utente chiamato IMAR …. cioè uno che non si nasconde dietro i soliti plurinicks civetta) mi comunica che il Sign Ernesto ha avuto la sua “solita” reazione inconsulta, che purtroppo – as usual - è tanto confusa quanto imprecisa.

Diabolico Sign Ernesto…. non gli bastano i giorni feriali, deve sparare caz…. ehm…. amenità anche nel week end.

Allora, i punti a cui occorre dare una risposta (stasera o domani):


1)i motivi LOGICI che dovrebbero essere alla base dell’anomalia, precedentemente genericamente definiti come “interventi delle banche centrali” sono ora diventati “gli annunci FOMC, BCE etc etc etc.
2)vengono citati due studi a sostegno, il che – semplicemente - dimostra che non li si è letti neanche nelle parti più significative (o, se le si è letti, non si è capito).

Il tutto, ovviamente, non mosso da stupide polemiche personali, ma per capire meglio… come detto … se questo è un esempio concreto di fitting… o overfitting….

1.continua

 

[Imar]

Allora, i punti a cui occorre dare una risposta (stasera o domani):
1)i motivi LOGICI che dovrebbero essere alla base dell’anomalia, precedentemente genericamente definiti come “interventi delle banche centrali” sono ora diventati “gli annunci FOMC, BCE etc etc etc.
2)vengono citati due studi a sostegno, il che – semplicemente - dimostra che non li si è letti neanche nelle parti più significative (o, se le si è letti, non si è capito).

Prima, un apiccolo antipasto..... in allegato il grafico del FIB rettificato con rendimenti logaritmici cumulati per giorni della settimana, nel caso in cui il giorno precedente si sia avuto un rialzo di almeno l’1%.
La linea blu è il giovedì.

Domanda: è frutto del caso, vero, che la crisi sia partita dal 2007, ma il test (con relativa l’equity mandingo) presentata dal Sign Ernesto su FOL parta dal 2009?


PS al fine di permettere a chiunque di replicare i dati, se si desidera: il grafico è realizzato con Amibroker (scaricabile free in demo), i dati sono quelli del FIB rett di dati ok, ed il codice è inserito qui sotto:

[SIZE=2][COLOR=black][FONT=&quot]Thresh= [/FONT][/COLOR][COLOR=blue][FONT=&quot]Param[/FONT][/COLOR][COLOR=black][FONT=&quot] ([/FONT][/COLOR][COLOR=purple][FONT=&quot]"Threshold"[/FONT][/COLOR][COLOR=black][FONT=&quot], [/FONT][/COLOR][COLOR=purple][FONT=&quot]1[/FONT][/COLOR][COLOR=black][FONT=&quot],[/FONT][/COLOR][COLOR=purple][FONT=&quot]0[/FONT][/COLOR][COLOR=black][FONT=&quot],[/FONT][/COLOR][COLOR=purple][FONT=&quot]5[/FONT][/COLOR][COLOR=black][FONT=&quot],[/FONT][/COLOR][COLOR=purple][FONT=&quot]0.1[/FONT][/COLOR][COLOR=black][FONT=&quot] )[/FONT][/COLOR]; [/SIZE][SIZE=2][COLOR=black][FONT=&quot]Change = [/FONT][/COLOR][COLOR=blue][FONT=&quot]ln[/FONT][/COLOR][COLOR=black][FONT=&quot]([/FONT][/COLOR][COLOR=blue][FONT=&quot]Ref[/FONT][/COLOR][COLOR=black][FONT=&quot]([B]C[/B], -[/FONT][/COLOR][COLOR=purple][FONT=&quot]1[/FONT][/COLOR][COLOR=black][FONT=&quot])/ [/FONT][/COLOR][COLOR=blue][FONT=&quot]Ref[/FONT][/COLOR][COLOR=black][FONT=&quot]([B]C[/B],-[/FONT][/COLOR][COLOR=purple][FONT=&quot]2[/FONT][/COLOR][COLOR=black][FONT=&quot]))*[/FONT][/COLOR][COLOR=purple][FONT=&quot]100[/FONT][/COLOR][COLOR=black][FONT=&quot]; [/FONT][/COLOR]
[/SIZE][SIZE=2][COLOR=black][FONT=&quot]Cond2 = Change > Thresh; [/FONT][/COLOR]
[/SIZE]       [SIZE=2]
[/SIZE] [SIZE=2][COLOR=black][FONT=&quot]Monday_Ln= [/FONT][/COLOR][COLOR=blue][FONT=&quot]IIf[/FONT][/COLOR][COLOR=black][FONT=&quot]( [/FONT][/COLOR][COLOR=blue][FONT=&quot]DayOfWeek[/FONT][/COLOR][COLOR=black][FONT=&quot]()==[/FONT][/COLOR][COLOR=purple][FONT=&quot]1[/FONT][/COLOR][COLOR=black][FONT=&quot] [B]AND[/B] Cond2, [/FONT][/COLOR][COLOR=blue][FONT=&quot]ln[/FONT][/COLOR][COLOR=black][FONT=&quot]([B]C[/B]/[B]O[/B])*[/FONT][/COLOR][COLOR=purple][FONT=&quot]100[/FONT][/COLOR][COLOR=black][FONT=&quot], [/FONT][/COLOR][COLOR=purple][FONT=&quot]0[/FONT][/COLOR][COLOR=black][FONT=&quot]);[/FONT][/COLOR]
[/SIZE][SIZE=2][COLOR=black][FONT=&quot]Total_Monday =[/FONT][/COLOR][COLOR=blue][FONT=&quot]Cum[/FONT][/COLOR][COLOR=black][FONT=&quot](Monday_Ln);[/FONT][/COLOR]
[/SIZE]     [SIZE=2]
[/SIZE] [SIZE=2][COLOR=black][FONT=&quot]Tuesday_Ln= [/FONT][/COLOR][COLOR=blue][FONT=&quot]IIf[/FONT][/COLOR][COLOR=black][FONT=&quot]( [/FONT][/COLOR][COLOR=blue][FONT=&quot]DayOfWeek[/FONT][/COLOR][COLOR=black][FONT=&quot]()==[/FONT][/COLOR][COLOR=purple][FONT=&quot]2[/FONT][/COLOR][COLOR=black][FONT=&quot] [B]AND[/B] Cond2, [/FONT][/COLOR][COLOR=blue][FONT=&quot]ln[/FONT][/COLOR][COLOR=black][FONT=&quot]([B]C[/B]/[B]O[/B])*[/FONT][/COLOR][COLOR=purple][FONT=&quot]100[/FONT][/COLOR][COLOR=black][FONT=&quot], [/FONT][/COLOR][COLOR=purple][FONT=&quot]0[/FONT][/COLOR][COLOR=black][FONT=&quot]);[/FONT][/COLOR][/SIZE]  
[SIZE=2][COLOR=black][FONT=&quot]Total_Tuesday =[/FONT][/COLOR][COLOR=blue][FONT=&quot]Cum[/FONT][/COLOR][COLOR=black][FONT=&quot](Tuesday_Ln);[/FONT][/COLOR]
[/SIZE]   [SIZE=2]
[/SIZE][SIZE=2][COLOR=black][FONT=&quot]Wednesday_Ln= [/FONT][/COLOR][COLOR=blue][FONT=&quot]IIf[/FONT][/COLOR][COLOR=black][FONT=&quot]( [/FONT][/COLOR][COLOR=blue][FONT=&quot]DayOfWeek[/FONT][/COLOR][COLOR=black][FONT=&quot]()==[/FONT][/COLOR][COLOR=purple][FONT=&quot]3[/FONT][/COLOR][COLOR=black][FONT=&quot] [B]AND[/B] Cond2, [/FONT][/COLOR][COLOR=blue][FONT=&quot]ln[/FONT][/COLOR][COLOR=black][FONT=&quot]([B]C[/B]/[B]O[/B])*[/FONT][/COLOR][COLOR=purple][FONT=&quot]100[/FONT][/COLOR][COLOR=black][FONT=&quot], [/FONT][/COLOR][COLOR=purple][FONT=&quot]0[/FONT][/COLOR][COLOR=black][FONT=&quot]);[/FONT][/COLOR]
[/SIZE][SIZE=2][COLOR=black][FONT=&quot]Total_Wednesday =[/FONT][/COLOR][COLOR=blue][FONT=&quot]Cum[/FONT][/COLOR][COLOR=black][FONT=&quot](Wednesday_Ln);[/FONT][/COLOR]

[/SIZE][SIZE=2][COLOR=black][FONT=&quot]Thursday_Ln= [/FONT][/COLOR][COLOR=blue][FONT=&quot]IIf[/FONT][/COLOR][COLOR=black][FONT=&quot]( [/FONT][/COLOR][COLOR=blue][FONT=&quot]DayOfWeek[/FONT][/COLOR][COLOR=black][FONT=&quot]()==[/FONT][/COLOR][COLOR=purple][FONT=&quot]4[/FONT][/COLOR][COLOR=black][FONT=&quot] [B]AND[/B] Cond2, [/FONT][/COLOR][COLOR=blue][FONT=&quot]ln[/FONT][/COLOR][COLOR=black][FONT=&quot]([B]C[/B]/[B]O[/B])*[/FONT][/COLOR][COLOR=purple][FONT=&quot]100[/FONT][/COLOR][COLOR=black][FONT=&quot], [/FONT][/COLOR][COLOR=purple][FONT=&quot]0[/FONT][/COLOR][COLOR=black][FONT=&quot]);[/FONT][/COLOR][/SIZE]  
[SIZE=2][COLOR=black][FONT=&quot]Total_Thursday =[/FONT][/COLOR][COLOR=blue][FONT=&quot]Cum[/FONT][/COLOR][COLOR=black][FONT=&quot](Thursday_Ln);[/FONT][/COLOR]

[/SIZE][SIZE=2][COLOR=black][FONT=&quot]Friday_Ln= [/FONT][/COLOR][COLOR=blue][FONT=&quot]IIf[/FONT][/COLOR][COLOR=black][FONT=&quot]( [/FONT][/COLOR][COLOR=blue][FONT=&quot]DayOfWeek[/FONT][/COLOR][COLOR=black][FONT=&quot]()==[/FONT][/COLOR][COLOR=purple][FONT=&quot]5[/FONT][/COLOR][COLOR=black][FONT=&quot] [B]AND[/B] Cond2, [/FONT][/COLOR][COLOR=blue][FONT=&quot]ln[/FONT][/COLOR][COLOR=black][FONT=&quot]([B]C[/B]/[B]O[/B])*[/FONT][/COLOR][COLOR=purple][FONT=&quot]100[/FONT][/COLOR][COLOR=black][FONT=&quot], [/FONT][/COLOR][COLOR=purple][FONT=&quot]0[/FONT][/COLOR][COLOR=black][FONT=&quot]);[/FONT][/COLOR][/SIZE]  
[SIZE=2][COLOR=black][FONT=&quot]Total_Friday =[/FONT][/COLOR][COLOR=blue][FONT=&quot]Cum[/FONT][/COLOR][COLOR=black][FONT=&quot](Friday_Ln);

[/FONT][/COLOR][/SIZE]   [SIZE=2][COLOR=blue][FONT=&quot]Plot[/FONT][/COLOR][COLOR=black][FONT=&quot] (Total_Monday,[/FONT][/COLOR][COLOR=purple][FONT=&quot]"Monday"[/FONT][/COLOR][COLOR=black][FONT=&quot],[B]colorYellow[/B],[B]styleLine[/B]);[/FONT][/COLOR]
[/SIZE]   [SIZE=2][COLOR=blue][FONT=&quot]Plot[/FONT][/COLOR][COLOR=black][FONT=&quot] (Total_Tuesday,[/FONT][/COLOR][COLOR=purple][FONT=&quot]"Tuesday"[/FONT][/COLOR][COLOR=black][FONT=&quot],[B]colorRed[/B],[B]styleLine[/B]);[/FONT][/COLOR]
[/SIZE]   [SIZE=2][COLOR=blue][FONT=&quot]Plot[/FONT][/COLOR][COLOR=black][FONT=&quot] (Total_Wednesday,[/FONT][/COLOR][COLOR=purple][FONT=&quot]"Wednesday"[/FONT][/COLOR][COLOR=black][FONT=&quot],[B]colorGreen[/B],[B]styleLine[/B]);[/FONT][/COLOR]
[/SIZE]   [SIZE=2][COLOR=blue][FONT=&quot]Plot[/FONT][/COLOR][COLOR=black][FONT=&quot] (Total_Thursday,[/FONT][/COLOR][COLOR=purple][FONT=&quot]"Thursday"[/FONT][/COLOR][COLOR=black][FONT=&quot],[B]colorBlue[/B],[B]styleLine[/B]);[/FONT][/COLOR]
[/SIZE]   [SIZE=2][COLOR=blue][FONT=&quot]Plot[/FONT][/COLOR][COLOR=black][FONT=&quot] (Total_Friday,[/FONT][/COLOR][COLOR=purple][FONT=&quot]"Friday"[/FONT][/COLOR][COLOR=black][FONT=&quot],[B]colorOrange[/B],[B]styleLine[/B]);[/FONT][/COLOR]
[/SIZE]

2.continua