Overfitting

[Paolo1956]

Indubbiamente mi mancano sia l'uno sia l'altra, chiedo venia

Ma ancora non mi capacito:

1. «esiste un legame funzionale» = è un'ipotesi che il passato conferma statisticamente, ovvero non conosciamo il vero legame ma solo una sua pallida approssimazione;
2. «esiste un legame funzionale sfruttabile» = è un'ipotesi che non è stata dimostrata ma GiuliaP afferma che questa affermazione è falsa senza conoscere il legame funzionale di cui al punto 1 e ignorando approssimazioni statistiche perchè frutto di (over)fitting.

Domanda: come può GiuliaP avere ragione in merito al punto 2 senza conoscere il legame funzionale di cui al punto 1?

Soluzione: Cren non lo sa e si arrende, lo chiede alla sua amica GiuliaP che orma è evidente sia un centinaio di passi avanti a lui

Se però qualcun altro vuole dirci la sua, io leggo volentieri in silenzio, eh...

Cren tu sai che non capisco una cippa di opzioni e quindi intervengo poco volentieri in materia.

All'inizio del 3d la signora Giulia rimanda alla definizione di overfitting di wiki italia, che riporto di seguito:

In statistica, si parla di overfitting (eccessivo adattamento) quando un modello statistico si adatta ai dati osservati (il campione) usando un numero eccessivo di parametri. Un modello assurdo e sbagliato può adattarsi perfettamente se è abbastanza complesso rispetto alla quantità di dati disponibili. Spesso si sostiene che l'overfitting sia una violazione della legge del Rasoio di Occam.

Ho ragione o no a sostenere che una tale definizione è, al minimo, un tantino tautologica?

 

[GiuliaP]

...All'inizio del 3d la signora Giulia rimanda alla definizione di overfitting di wiki italia, che riporto di seguito...

Potresti quotare per favore?

Perchè si da il caso che io abbia sempre consapevolmente specificato "wikipedia inglese"

Non solo: ho anche scritto io stessa la definizione!

Però non posso andare avanti a confutare le vostre sviste! Abbiate pietà!

Se cercate un discorso costruttivo, almeno un minimo di attenzione me la dovete

P.S. In passato sul fol addirittura evidenziai il problema, invitando esplicitamente ad usare sempre la versione inglese

 

[Cren]

All'inizio del 3d la signora Giulia rimanda alla definizione di overfitting di wiki italia, che riporto di seguito:

In statistica, si parla di overfitting (eccessivo adattamento) quando un modello statistico si adatta ai dati osservati (il campione) usando un numero eccessivo di parametri. Un modello assurdo e sbagliato può adattarsi perfettamente se è abbastanza complesso rispetto alla quantità di dati disponibili. Spesso si sostiene che l'overfitting sia una violazione della legge del Rasoio di Occam.

Ho ragione o no a sostenere che una tale definizione è, al minimo, un tantino tautologica?

In primo luogo debbo ricordarti che GiuliaP ha sempre affermato di condividere pienamente la definizione della Wikipedia anglofona e non la nostrana, definizione che copre impietosamente uno spettro più ampio di casistiche.

In secondo luogo... Spiega meglio, perchè la ritieni tautologica?

Dalla definizione che hai riportato io comprendo che, se un legame tra due o più variabili accetta una relazione lineare (la più semplice possibile), forzarne una quadratica o cubica etc. è overfitting se il campione è di dimensione troppo piccola.

Conveniamo che sembri un caso un po' stringente, quand'anche in certi casi la stessa relazione lineare potrebbe scaturire da un eccesso di «fitting».

 

[Paolo1956]

ho sbagliato? possibilissimo....

riprendo la definizione inglese:

In statistics, overfitting[clarification needed] occurs when a statistical model describes random error or noise instead of the underlying relationship. Overfitting generally occurs when a model is excessively complex, such as having too many parameters relative to the number of observations. A model which has been overfit will generally have poor predictive performance, as it can exaggerate minor fluctuations in the data.

mi pare che siamo lì col conto......

descrive il rumore invece della sottostante relazione.....

ma devo almeno avere una idea di questa relazione.....

 

[GiuliaP]

...All'inizio del 3d la signora Giulia rimanda alla definizione di overfitting di wiki italia...

ho sbagliato? possibilissimo...

In questo caso possiamo anche azzardare un ... "sicurissimo"

P.S. Grazie Cren!

 

[Cren]

Secondo te per dire che "non c'è relazione sfruttabile tra A e B" bisogna necessariamente conoscere la relazione tra A e B?

Questo è il momento in cui l'ingegnere (e non solo) si alza sulla sedia, distende la fronte e risponde perplesso: «Sì, cazzo!»

 

[GiuliaP]

...ma devo almeno avere una idea di questa relazione.....

Il motivo per cui hai bisogno di fare fitting e finisci invece per fare overfitting, è esattamente perchè non conosci questa relazione.

Ma non voglio anticipare troppo!

 

[Imar]

Non so.

In figura ti ho messo lo scatter plot tra il logaritmo naturale delle chiusure settimanali del VIX e il logaritmo naturale della HV stimata in un certo modo, qualcosa di analogo a quanto fatto da Giller.

Supponiamo che, tra un venerdì e l'altro, ti ritrovi una situazione che giace attorno a quel pallino rosso; per sfruttare la relazione tra HV e IV, i casi sono tre (mutuamente esclusivi):

1. durante la settimana non è possibile che si presenti una situazione di quel tipo, e allora questo significa che tutto sommato il modello di stima della HV produce un output che approssima anche la IV e, per esempio, i coni di volatilità o altri strumenti che confrontano HV e IV per capire quando 'cheap' o 'expensive' sono validi;
2. durante la settimana si può presentare una situazione di quel tipo, e allora uno compra un calendar spread e ha statisticamente buone probabilità che gli vada a favore entro chiusura di settimana. Naturalmente vale anche il caso della vendita, se l'outlier giace dall'altra parte del piano;
3. quella relazione è stata valida dal 1990 fino a venerdì scorso e da lunedì prossimo non vale più (ho commesso overfitting).

Io non riesco a uscirne da questo "cortocircuito logico".

La mia idea è che il Delta hedging avvalori il punto 1.

Scusate l'intrusione, possiamo tornare un poco indietro?

Cren, potresti spiegare con quali passaggi logici..... il Delta Hedging fa in modo che la relazione tra la stima (quasi)Garch della volatilità futura e la IV sia stazionaria(*)?


Ci sarebbero tante altre cose da dire (tipo che IV Bund al 12% non è proprio paragonabile a IV S%P500 all'80%.... e che se devi far
e pratica delle opzioni sul BUND proprio ti dimentichi l'esistenza....)... il fatto è che oggi io non posso "starvi dietro".... leggerò probabilmente il seguito in serata o nel tardo pomeriggio.....


(*) Se ho capito bene... questa è la tua tesi.... se non ho capito, correggimi...

 

[Cren]

Cren, potresti spiegare con quali passaggi logici..... il Delta Hedging fa in modo che la relazione tra la stima (quasi)Garch della volatilità futura e la IV sia stazionaria(*)?

La mia tesi è abbastanza semplice.

Limitiamoci a ragionare ATM, per non complicare i ragionamenti con smile e altre amenità.

La HV è una stima del movimento assoluto del sottostante; la IV è il famoso «numero sbagliato nella formula sbagliata» etc. etc. però in questo contesto assumiamo che, se restiamo nell'ATM, questo numerino non si discosti più di tanto da ciò che il mercato si attende essere il movimento annualizzato del sottostante entro la scadenza dell'opzione.

Il mio ragionamento è che i livelli della HV e della IV ATM non possano discostarsi in misura 'eccessiva', ovvero in misura tale che gli operatori possano percepire occasioni di profitto facile; non si possono discostare in misura eccessiva sempre per il ragionamento per il quale detti operatori, scorgendo opportunità di profitto più facile del solito, si lancerebbero a comprare (vendere) HV e vendere (comprare) IV.

Vendere (comprare) IV si fa prendendo posizione direttamente sull'opzione, ma come si può comprare (vendere) HV? Con il Delta hedging: vendere (comprare) una opzione che prezza IV siderale (sotto i tacchi) e fare Delta hedging con un sottostante che manifesta una HV pressochè nulla (altissima) equivale a prendere vantaggio di questa disequilibrio.

Un esempio pratico è chiarissimo: se il sottostante manifesta una HV del 15% e io ho sotto mano una opzione (per semplicità ATM) con IV al 60%, la vendo e copro il Delta; qual è il risultato? Ho venduto qualcosa che prevedeva oscillazioni smisurate del sottostante e invece compro e vendo un sottostante pressochè fermo. Se il sottostante non cambia drasticamente il proprio comportamento entro scadenza, ho vinto.

Concludo il mio pensiero: quando molti percepiscono opportunità di questo tipo, comprano e vendono come ho descritto; l'eccesso di domanda e di offerta su opzioni (per la posizione su IV) e su sottostante (per la posizione su HV) provoca effetti sulla IV e sulla HV aumentando l'una e diminuendo l'altra fino a che tornino in un range tale da far passare a molti la voglia di prendere posizione in quel modo.

Quindi non ci sarà mai scostamento 'eccessivo', e questo non significa affatto che i due valori debbano essere uguali: significa semplicemente che esiste una relazione statistica relativamente robusta che, dato il livello dell'una, verosimilmente sarà in grado di descrivere con una certa confidenza il livello dell'altra in quell'istante.

Nel diagramma che ho pubblicato, questa relazione è descritta abbastanza bene dalla retta verde; «abbastanza bene» è espresso in relazione ovviamente al passato e sempre in termini di significatività statistica, con tutti i (tanti) limiti del caso.

 

[Imar]

Un esempio pratico è chiarissimo: se il sottostante manifesta una HV del 15% e io ho sotto mano una opzione (per semplicità ATM) con IV al 60%, la vendo e copro il Delta; qual è il risultato? Ho venduto qualcosa che prevedeva oscillazioni smisurate del sottostante e invece compro e vendo un sottostante pressochè fermo. Se il sottostante non cambia drasticamente il proprio comportamento entro scadenza, ho vinto.

No.
Cren, io sono di corsissima e non potrò replicare altro, ma il tuo problema è che tu consideri la volatilità come un numero. Nulla di più.
La volatilità ha dei fondamentali (questo intendevo nell'altro thread, in cui ti ho detto che tu confondevi le "cause con gli effetti intermedi") che tutti i tuopi ragionamenti tendono ad evitare, concentrandosi esclusivamete sul modello.

Rileggi Taleb p. 102-103, poi (temo) dovremo riparlarne.

Per PGiulia: secondo me bisogna riuscire a spiegargli dove si annida l'errata del suo ragionamento qui sopra (per questo gliel'ho fatto esplicitare).
Finchè gli parli per principi generali.... è purtroppo un dialogo tra sordi.

Devo scappare, un saluto a tutti.