Overfitting

[Cren]

livelli minimi di lealtà/dignità/correttezza imporrebbero di rispettare gli impegni formali presi pubblicamente, presentando lo studio del TS Amico entro la scadenza del 15 gennaio che ormai incombe e riferendo la risposta (o la mancanza di …) sul FOL (AQR non ha mai mangiato nessuno, al minimo prendono coscienza del fantastico sistema che li ha “battuti” nel 2011… coi soldi del Monopoli…).

Chissà quale sarà il parere di Cren a proposito!

P.S. Ma non credo avremo mai la sua aperta opinione

Io il documento ad AQR l'ho mandato, adesso aspetto di qualificarmi tra gli ultimi. Hanno il mio numero di telefono e il mio indirizzo di posta elettronica se vogliono darmi i soldi

Siccome dentro c'è anche l'applicazione pratica al «TSAmico» (ovviamente con riferimento all'autore), se ci sarà manifestazione di interesse per questa strategia oltre che per il (o al posto del) LogitMM, ci sarà modo di fugare ogni dubbio

 

[GiuliaP]

...Se avessimo a disposizione il diavoletto di Maxwell che suggerisce i parametri opportuni...vivremmo in un determinismo perfetto. Ma il diavoletto non c'è.
Ma basta la mancanza del demone suggeritore per inferire una indeterminatezza o inferiamo una nostra incapacità? Inettitudine?...

Dopo Maxwell è venuto Einstein, e tutto è cambiato. I'impareggiabile Maxwell poco potrebbe fare per la necessità di una nuova fisica omogenea, salvo cambiare strada.

Figuiamoci per la fisica applicata alle serie storiche

C'è chi si crogiola nell'gnoranza e dice che bastano le prime 25 pagine di un libro...sarà...timeo ominem unius libri...troppo idiuta e troppo presuntuoso.
Pericoloso a sè stesso e agli altri.

Vero

Altrettanto pericoloso chi supera quelle 25 pagine senza averle capite abbastanza a fondo.

Come costruire palazzi con cattive fondamenta, per se stessi e per gli altri

ringraziandovi per non avermi storpiato il nome in starloss (anche se solo perchè vi sarà sembrato banale), vi comunico che sono anni che mi taglio i capelli da solo più che per risparmiare tempo per non sentire le chiacchiere dei barbieri, figuriamoci di quelli odiosamente presuntosi. quanto al rasoio, credo anch'io che sia fondamentale, ma solo dopo che sono cresciuti i peli, prima no. infine sono molto deluso: 'sta parlando' non si scrive con l'accento. passo e chiudo.

Bella metafora, starless!

 

[Paolo1956]

@PAOLO56

visto che ha scoperto che qualcuno tenta di usare i tensori di Ricci non so dove, le regalo i termini correttivi piu' significativi per il calcolo del vettore di posizione
di un sistema E/M a variazioni secolari.
........

Numero 1

 

[Imar]

Io il documento ad AQR l'ho mandato, adesso aspetto di qualificarmi tra gli ultimi. Hanno il mio numero di telefono e il mio indirizzo di posta elettronica se vogliono darmi i soldi

Siccome dentro c'è anche l'applicazione pratica al «TSAmico» (ovviamente con riferimento all'autore), se ci sarà manifestazione di interesse per questa strategia oltre che per il (o al posto del) LogitMM, ci sarà modo di fugare ogni dubbio

Non aspettarti necessariamente una risposta.. penso che abbiano migliaia di applicazioni.

Lo spirito giusto è quello di un attore che va ai provini... non ti devi far deprimere da un silenzio/rifiuto e passare ad una prossima occasione (esempio:

NAAIM - Registered Investment Advisor Education & Resources).

Ovviamente, se ti interessa perseguire su questa strada.

Sul resto preferirei soprassedere.... l'impegno era chiaro..... non riguardava l'aggiunta di una appendice al paper di qualcun altro.

Chissà quale sarà il parere di Cren a proposito!
P.S. Ma non credo avremo mai la sua aperta opinione

Tu mi rubi i pensieri ... ma non è tanto Cren...
Come avrai notato, i silenti sono tanti..... a cominciare da quelli che venivano a fare le pulci alle virgole e alla netiquette.
Questo per me è più significativo di ogni altra cosa.

Vabbè, lasciamo perdere..... che appena ho tempo si torna a parlare di Overfitting.
Finora abbiamo parlato di overfitting sui dati.
Per completezza, occorrerà parlare anche dell'overfitting sui modelli, cosa chi mi ripropongo di fare con un esempio pratico.

 

[Paolo1956]

Tu mi rubi i pensieri ... ma non è tanto Cren...
Come avrai notato, i silenti sono tanti..... a cominciare da quelli che venivano a fare le pulci alle virgole e alla netiquette.
Questo per me è più significativo di ogni altra cosa.

Guarda, ti rispondo per quello che posso.

Io dell'overfitting ho una idea tutta mia che mi par di capire non coincida con la vostra. Forse traspare fra righe di quello che si diceva col professore.

Da qualche parte in questa sezione l'utente Skarso afferma che laddove c'è una correlazione c'è un fenomeno fisico, o qualcosa del genere. Io sono molto dubbioso in merito ma è un campo in cui non farei affermazioni assolute. E' brutto, inelegante, ma a volte si va avanti anche per prove ed errori, specie in questo settore.

Allora io mi chiederei:

1. Esiste l'effetto indicato o siamo in presenza di un banale errore di calcolo?
2. Se la prima risposta è SI', cercheremo di indagarne le cause, pur sapendo che in questo settore i termini causa ed effetto non hanno una chiarezza cartesiana. Per capirne di più dovrei leggermi i paperi che sono stati allegati.
3. Ad essere rigoroso dovrei anche capire se l'effetto può essere dovuto a una fluttuazione statistica
   

Allora, capisci bene che, almeno dal mio punto di vista, non si tratta di partecipare ad una guerra partigiana, ma di pensare, studiare e riflettere.

Una parola sulla nettiquette: tu hai la pericolosa tendenza a generalizzare. Ognuno risponde per quello che dice e che fa. Non esistono quelli della sezione, esistono Tizio, Caio e Sempronio.

Ciao

 

[Imar]

Guarda, ti rispondo per quello che posso.

Io dell'overfitting ho una idea tutta mia che mi par di capire non coincida con la vostra. Forse traspare fra righe di quello che si diceva col professore.

Da qualche parte in questa sezione l'utente Skarso afferma che laddove c'è una correlazione c'è un fenomeno fisico, o qualcosa del genere. Io sono molto dubbioso in merito ma è un campo in cui non farei affermazioni assolute. E' brutto, inelegante, ma a volte si va avanti anche per prove ed errori, specie in questo settore.

Allora io mi chiederei:

1. Esiste l'effetto indicato o siamo in presenza di un banale errore di calcolo?
2. Se la prima risposta è SI', cercheremo di indagarne le cause, pur sapendo che in questo settore i termini causa ed effetto non hanno una chiarezza cartesiana. Per capirne di più dovrei leggermi i paperi che sono stati allegati.
3. Ad essere rigoroso dovrei anche capire se l'effetto può essere dovuto a una fluttuazione statistica
   

Allora, capisci bene che, almeno dal mio punto di vista, non si tratta di partecipare ad una guerra partigiana, ma di pensare, studiare e riflettere.

Una parola sulla nettiquette: tu hai la pericolosa tendenza a generalizzare. Ognuno risponde per quello che dice e che fa. Non esistono quelli della sezione, esistono Tizio, Caio e Sempronio.

Ciao

Ciao Paolo,

innanzitutto, grazie del tuo intervento.

Confesso di non aver capito troppo bene il tuo parere sull'overfitting (magari colpa mia), e quindi se vuoi approfondire, penso che sia utile a tutti.

Magari in linea generale, e non con riferimento al sistema del giovedì (tra parentesi, i paperi si possono sempre leggere ma basta notare che il secondo non parla delle riunioni delle banche centrali del giovedì, ma del rilascio degli indicatori macro che sono "spalmati" tra il martedì ed il venerdì....- in parole povere .... non c'entra nulla - ... per capire a cosa dovevano servire).


PS Sei troppo intelligente per non capire che "i silenti" di cui ho scritto qui sopra non è riferito alla questione dell'overfitting ma a questo:

livelli minimi di lealtà/dignità/correttezza imporrebbero di rispettare gli impegni formali presi pubblicamente, presentando lo studio del TS Amico entro la scadenza del 15 gennaio che ormai incombe e riferendo la risposta (o la mancanza di …) sul FOL

ed in questo caso posso generalizzare, nel senso che (PGiulia a parte) non ha detto una parola proprio nessuno.... quindi l'invito non era tanto rivolto solo a una sezione... ma proprio a tutti quelli che han seguito l'ultima discussione, quindi anche agli utenti della sezione "Trading on line".

In altre parole premesso che puoi sentirti libero di rimproverare la mia netiquette tutte le volte che vuoi, anche a sproposito (tu come tutti gli altri)................

la domanda era solo ....... ma possibile che non si alzi una voce "terza" a dire..... azzo .... hai preso un impegno pubblico e formale.... rispettalo.... e che sarà mai..... bastano 5-6 pagine (btw, ho la sensazione che Cren sia stato troppo prolisso.... Cren... se è troppo lungo..... ottieni l'effetto opposto... distogli l'attenzione, almeno con AQR... con NAAIM è già un pò diverso...) e l'invio di una email.

Never mind, capisco che le polemiche non piacciano a nessuno... e che con Ernesto non è proprio semplice parlare.

Spero di aver chiarito, perchè non ho più intenzione di tornare su questo argomento.

 

[ender85]

R+Excel+Amibroker??? Ho sentito il bat segnale

Cmq la mia fortuna è stata essere un informatico e aver incontrato gli scalper, loro hanno gli occhi allenati

Auguri a tutti, in particolare a Babbo Ronzy

 

[Ronzy2001]

R+Excel+Amibroker??? Ho sentito il bat segnale

Cmq la mia fortuna è stata essere un informatico e aver incontrato gli scalper, loro hanno gli occhi allenati

Auguri a tutti, in particolare a Babbo Ronzy

Auguri anche a te......

 

[GiuliaP]

Stea, hai cancellato un tuo messaggio troppo in fretta: ti rispondo ora, ma vado a spanne. Se ricordo male perdonami in anticipo.

Questa volta vado anche io OT

Se ho capito bene tu mi dici che la consequenzialità temporale dei progressi della fisica non ha importanza in relazione al metodo.
Tuttavia anche il metodo cambia, si evolve, progredisce: i metodi attuali non sono quelli del passato, come non saranno quelli del futuro.

I problemi di omogeneità teorica della fisica moderna erano completamente ignoti a Maxwell, da cui la mia citazione del successivo Einstein.

Maxwell era un determinista come evidentemente lo sei tu. La fisica dell'indeterminismo è venuta dopo, e fu difficilmente accettata dallo stesso Einstein (se ricordo bene già una volta ci siamo trovati a discutere tra noi di determinismo ed indeterminismo).

Riguardo google invece, per me è una manna; il vero guaio è la lettura a salti
Se ci sono le basi, le fondamenta, la conoscenza di quelle prime 25 pagine, se c'è un buon quadro d'insieme e c'è "metodo", google, ma sarebbe meglio dire internet, è un stumento eccezionale, secondo me.

Se invece intendevi solo dirmi che la mia cultura è basata su google, allora alzo le mani

 

[Imar]

Finora abbiamo parlato di overfitting sui dati.
Per completezza, occorrerà parlare anche dell'overfitting sui modelli, cosa chi mi ripropongo di fare con un esempio pratico.

Per la serie: “riceviamo e pubblichiamo”, riporto qui sotto un estratto da una email che ricevetti qualche tempo fa (e a cui non risposi), immaginando che l’autore non abbia niente in contrario

[/QUOTE]
Il punto è il seguente: supponi di individuare una fortissima pendenza della struttura a termine della IV. In particolare, metti che la struttura sia inclinata così negativamente che tu ritieni con buona probabilità debba “rientrare”. Quindi ritieni che la IV ATM delle opzioni a 30 giorni debba scendere con più velocità della parte a 90 giorni, per esempio.
In questo contesto la scelta naturale è uno spread di calendario in cui vendi ATM a 30 giorni e compri ATM a 90 giorni.
E qui sta il punto: questa figura, se si somma in modo becero il Vega, è Vega-positiva. Tuttavia noi sappiamo che il Vega non si somma in modo lineare nel tempo. In particolare, io uso la convenzione di usare dei pesi ponderati sul tempo “alla Taleb” (i c.d. «theoretical weights»), dove il fattore di ponderazione è √(90/T) essendo T i giorni a scadenza dell’opzione esaminata.
Secondo questa convenzione, ci si mette poco a trasformare lo stesso spread di calendario in Vega-negativo, perché le opzioni vendute a 30 giorni acquistano un peso maggiore.
Adesso l’osservazione della realtà: ho diverse posizioni come quella che ti ho descritto su alcuni titoli dell’azionario americano. In questi giorni sto osservando che, mentre la struttura a termine della IV segue le mie previsioni e “rientra”, le posizioni perdono. Poiché, con l’eccezione di un titolo che mi ha fatto un -36% in apertura, tutte le altre sono praticamente Delta-neutrali, è chiaro che i fattori in gioco possono essere solo due: lo spread denaro-lettera esagerato dei MM e la sensibilità alla IV.

L’autore della email dimostra una conoscenza della materia superiore alla media, perché è tra i non moltissimi (almeno a livello degli utenti da forum, categoria rispettabilissima a cui appartengo anch’io…) ad aver capito che un CALENDAR SPREAD non è solo una scommessa sulla futura direzionalità (o mancanza di) del mercato …. nè una cosiddetta income strategy (cosiddetta sopratutto dai venditori di corsi a 5000 dollari l’uno….. fosse per me vorrei una legge che proibisca di usare la parola “income” quando si parla di opzioni…), ma anche – e talvolta soprattutto –una scommessa sul rapporto tra volatilità a breve e volatilità a lungo.

Tuttavia - premesso che i dati esposti sono insufficienti per formulare una risposta (e per tale motivo mi astenni) - la cosa che appare subito evidente è la fideistica applicazione del modello della “ponderazione teorica dei Vega” (Taleb, Dinamic Hedging, p.151"), senza chiedersi se tale modello - per definizione generale ed astratto - sia aderente o meno alla specifica realtà a cui viene applicato.

Lo dice Taleb, un esperto del settore, …. e dunque deve essere giusto, no?

Per Yours Truly, invece, siamo in presenza di un tipico OVERFITTING DA MODELLO, per almeno due considerazioni, una di carattere generale, ed una più particolare e relativa al momento di osservazione scelto:

1) L'aderenza del modello "Taleb" alla realtà che il nostro simpatico interlocutore da per scontata, è tutt’altro che definita; altri (Mark Sebastian, Sfomag magazine, Feb 2010) parlando dello stesso problema hanno per esempio affermato “Many proprietary option trading firms spend more time and money attempting to calculate true vega exposure than anything else.”


2) In secondo luogo, per quanto acuto, razionale ed aderente, un modello si pone il problema di rappresentare la realtà "medio-normale"

Domanda:le azioni che presentano la struttura di volatilità descritta dal mio anonimo interlocutore sono in genere nel un periodo medio-normale? o in atri termini, sono nel periodo in cui possiamo perlomeno supporre vi sia la maggiore aderenza possibile tra teoria e realtà?

Risposta: No, in genere sono alla vigilia di avvenimento chiave; penso ad esempio a aziende del settore bio-tecnologico che sono in attesa di una approvazione /bocciatura di un nuovo farmaco da parte della FDA (il che spiegherebbe anche perchè un titolo tra quelli seguiti ha aperto -36% ).


Ok, fine del predicozzo. Sarei davvero molto lieto di raccogliere il parere degli altri frequentatori in proposito.
Rimane poi la domanda… che per adesso lasciamo in sospeso… si poteva fare qualcosa di altro e di diverso ??

PS L'immagine che segue, tratta sempre dal libro di Taleb mette a confronto i "pesi teorici"con i pesi calcolati empiricamente, mediante l'osservazione dei cambi DM e YJ nel periodo 1988-1994.
Si nota che il modello teorico "ci prende" nel senso di relazione logica: più si alluga il periodo temporale, più la ponderazione da assegnare al Vega dellarelativa opzione scende.... " ma che non ricostruisce, nè ci si deve aspettare che lo faccia, i valore puntuali: ad esempio, sul DM ad un anno, la differenza è superiore ad 1/3.