Overfitting

[GiuliaP]

Rispondo in fretta prima che scompaia tutto (e ne comprendo il motivo )

Per chi non è interessato, ribadisco che siamo piacevolemente OT.

Questa mania di mettere etichette.

Io non sono determinista e neppure Maxwell.
Diciamo che siamo agnostici. Nel senso etimologico: non conosciamo.

Maxwell, con le sue stesse equazioni, preparò le basi per la crisi della fisica classica, ma egli stesso ne fu inconsapevole, rimanendo comunque determinista (come lo era un acerbo Einstein); testimone ne è la sua ben nota visione della natura.

Detto questo, possiamo anche accettare che avere un'opinione non significa non saperla mettere in dubbio; e viceversa

Lo ammettiamo. Nei nostri ragionamenti pseudodeterministici c'è sempre
qualche cosa che non quadra: ci vorrebbe un demone che ci suggerisse
che cosa non quadra o sbagliamo e che ci manca. Ma il demone suggeritore non c'è.
Questo è uno stato di indeterminatezza cognitiva non fattuale.
Il fattuale è in grembo agli dei.

Ebbene si. Il "fattuale" potrebbe essere completamente fuori dalla nostra portata (vista l'evidente limitatezza dell'"hardware" a disposizione). Tuttavia è alla nostra portata sapere "popperianamente" che può esistere.

Il problema dell'indeterminatezza fu ben inquadrato da Poincarè e da allora non è stato risolto (Les trois corps). Ma non saper calcolare non significa che la realtà fattuale sia indeterminata o peggio STOCKASTICA.

Giusto. Tuttavia, come già detto, non possiamo neanche escludere che la STOKASTICA D) faccia parte della natura stessa. Per definirti "non determinista" questo lo devi necessariamente accettare.

L'overfitting: è connaturato nelle scienze pre kepleriane.
Pur di sostenere il geocentrismo si "taroccavano" i dati osservazionali o
si epiciclavano le traiettorie dei pianeti. I conti tornavano, ma la realtà era altra.

Ora ritorniamo parzialmente IT. Il tuo bellissimo esempio testimonia un eclatante caso di overfitting (fatto con un pò di mala fede, suppongo ) su sistemi fisici sicuramente deterministici, assolutamente coerenti con la teoria fisica classica.

(edit: "malafede" riferito a chi a fatto overfitting, non a te )

Tuttavia il "metodo" attuale avrebbe facilmente consentito di evitare quel clamoroso errore. Da qui la mia obiezione alla tua osservazione di atemporalità dello stesso (sempre che abbia interpretato bene, perchè non posso più leggere il tuo precedente post).
Pur rimanendo forte il rischio di overfitting nella formulazione delle nuove teorie della fisica moderna.

Per concludere, se si riesce a fare overfitting su sistemi che possiamo essere sicuri essere deterministici e relativamente facilmente modellabili, figuriamoci su sistemi di cui non solo non conosciamo il carattere, ma siamo anche lontanissimi dal conoscerne uno straccio di modello, seppur approssimativo (deterministicamente parlando). Questo riferito sia alla meccanica quantistica che alla borsa

Ora stacco veramente la spina.
E distintamente saluto.

Distintamente ricambio, in attesa del prossimo tuo "ciclo"

 

[Paolo1956]

Gli scritti del professore sono sempre affascinanti.

Io però aggiungerei che negli ultimi decenni il rpincipio di autorità si sta in qualche modo riaffacciando in una forma subdola e il rasoio ha perso un po' il filo. Questa è una opinione non solo mia, ma indubbiamente minoritaria.

Lasciamo per un attimo stare il principio di indeterminazione, e osserviamo che il mercato è un sistema competitivo in cui si alternano e si mischiano equilibri 'pooling' e equilibri 'separator'. Qualche tentativo di modellizzazione in tal senso esiste. Quindi non sarei del tutto sicuro che in letteratura non si trovino buone idee. Semmai direi bisogna, come in economia, abbandonare i modelli fissi e superfissi, quelli in cui il sistema non reagisce e non si rimodella in funzione dei cambiamenti.

 

[Paolo1956]

Philip K. Dick, L'uomo dei giochi a premio, collana Urania n° 491, Arnoldo Mondadori Editore, 1968


Quaranta anni fa, in quel romanzo trovai ma non capii appieno tutte le problematiche di cui parlano Paolo56 e Giulia.
In quel romanzo c'era già tutto e nessuno se lo filò. Truman show, grande fratello Orwelliano, globalizzazione, teoria dei giochi economici....

Dick è così angoscioso.......

 

[Paolo1956]

Il succo è in quello che ho quotato....

 

[GiuliaP]

...Sarei davvero molto lieto di raccogliere il parere degli altri frequentatori in proposito...

Di là Skew mi ha sagacemente ricordato che un altro overfitting da modello è ... Black&Scholes (del resto come qualunque altro modello per prezzare opizoni, Heston compreso )

Lo so che con te sfondo una porta aperta, ma come non citare l'option pricing-overfitting in questo thread, approfittando di un tuo quote?

 

[Paolo1956]

Beh, insomma ragazzi, un modello è un modello, la prima cosa da fare è capire da quali ipotesi nasce.....

Se non sbaglio, perché non è il mio campo, Black&C deriva dal lemma di Ito, che deriva dal modello Processo Wiener. Allora, quanto il modello processo Wiener descrive il mercato? A momenti di più, a momenti meno, basta dare un occhiata all'istogramma dei rendimenti per rendersene conto.

(...segue)

 

[Cren]

Di là Skew mi ha sagacemente ricordato che un altro overfitting da modello è ... Black&Scholes (del resto come qualunque altro modello per prezzare opizoni, Heston compreso )

Lo so che con te sfondo una porta aperta, ma come non citare l'option pricing-overfitting in questo thread, approfittando di un tuo quote?

Beh, insomma ragazzi, un modello è un modello, la prima cosa da fare è capire da quali ipotesi nasce.....

Se non sbaglio, perché non è il mio campo, Black&C deriva dal lemma di Ito, che deriva dal modello Processo Wiener. Allora, quanto il modello processo Wiener descrive il mercato? A momenti di più, a momenti meno, basta dare un occhiata all'istogramma dei rendimenti per rendersene conto.

(...segue)

Le domande da porsi:

1. abbiamo (*) necessità di determinare il fair price di uno strumento finanziario secondo determinate ipotesi? Sì;
2. c'è un modo per farlo senza usare un modello con quelle ipotesi e/o evoluzioni più o meno sofisticate dello stesso? Per il momento, no;
3. c'è un'alternativa con ipotesi più realistiche e/o meno ipotesi? Per il momento, no.

Quindi si usa quello.

(*) "Noi" impersonale, inteso come industria finanziaria e mondo della finanza in genere.

Quindi, quando non hai altro, usi quello che hai; se puoi usare altro, ne fai a meno.

 

[Imar]

Di là Skew mi ha sagacemente ricordato che un altro overfitting da modello è ... Black&Scholes (del resto come qualunque altro modello per prezzare opizoni, Heston compreso )

Lo so che con te sfondo una porta aperta, ma come non citare l'option pricing-overfitting in questo thread, approfittando di un tuo quote?

Assolutamente si. Ma dipende molto da chi/come lo si usa.

B&S è overfitting se lo uso per stimare il prezzo di un 'opzione e lo confronto col prezzo di mercato (*). Heston, ancora di più....

La differenza, però, è che l'inadeguatezza dei due modelli da te citati "salta subito fuori" perchè hanno l'ambizione di stimare delle grandezze direttamente rilevabili sul mercato.

Il modello di Taleb, invece, produce un ovefitting "meno visibile" perchè stima una grandezza che non ha un riscontro immediato (la diluizione della volatilità su ampiezze temporali più lunghe)...... dato che nessuno si è mai preso la briga di testare la sua adeguatezza su un numero sufficientemente elevato di serie storiche e pubblicizzare in qualche modo i risultati. (almeno, per quanto è a mia conoscenza)


(*) Btw, non conosco nessuno che lo usi così.

Dato che io parto dai prezzi di mercato come INPUT e non come OUTPUT, per me è "solo" un (insostituibile) mezzo di lettura e di comunicazione con the "big boys" che fanno i prezzi Bid/Ask (the big boys usano modelli molto più complessi, ma il grosso vantaggio è che il risultato di tutti i loro aggiustamenti si scarica sulla volatilità implicita in B&S.......... così riesco in qualche modo a "comunicare" con loro anche utilizzando un modello antiquato).

Insomma, è forse l'unica cosa che posso usare come GPS (io non riuscirei mai, come l'amico Mistral, ad usare come GPS una trendline...)..... e la migliore dimostrazione del detto "all models are wrong.. but some are useful".

 

[Cren]

Dato che io parto dai prezzi di mercato come INPUT e non come OUTPUT, per me è "solo" un (insostituibile) mezzo di lettura e di comunicazione con the "big boys" che fanno i prezzi Bid/Ask (the big boys usano modelli molto più complessi, ma il grosso vantaggio è che il risultato di tutti i loro aggiustamenti si scaricano sulla volatilità implicita in B&S.......... così riesco in qualche modo a "comunicare" con loro anche utilizzando un modello antiquato).

La domanda spontanea a GiuliaP, soprattutto dopo il commento di Imar: se per te BMS è solo inutile overfitting, questo significa che puoi farne a meno per stimare le Greche.

Che modello useresti per stimarle?

 

[Imar]

Tornando per un attimo al sistema del "compra giovedì se mercoledì sale più dell'1% ... perchè su giovedì si scaricano ECB/FOMC/aste titoli/mazinga zeta ecc..." allego qui sotto il calendario US 2012 per le notizie macro/aste.

E' un sommesso invito a riflettere di quanto sarebbe facile pseudo-giustificare con i dati macro qualunque tipo di relazione precedentemente scovata tra i vari giorni della settimana col data mining.

Un saluto a tutti.