Overfitting

[GiuliaP]

Osservare e misurare sono sinonimi.

PGiulia ritiene che io sia animato da una critica a priori alle sue parole.

Sbaglia, mi limito a discutere punti che non capisco o su cui non sono d'accordo.

Ad esempio, trovo interessante il suo personale metodo per evitare overfitting. Naturalmente anche altri modi possono avere successo.

A volte la critica è inconsapevole. La mente umana nasconde molte insidie, il più delle volte a noi stessi .

Il dizionario della lingua italiana non pone "osservabile" e "misurabile" come sinonimi. Anzi, ne da due definizioni molto diverse. E non sto parlando di wiki

P.S. E dubito che il dizionario della fisica faccia diversamente

 

[Paolo1956]

Fisica - Wikipedia

 

[GiuliaP]

Fisica - Wikipedia

Ora è più chiaro.

Ma qui si parla di misurabilità pratica, non teorica.

Perchè altrimenti è tutto misurabile, e la finiamo lì.

Altre polemiche?

 

[pprllo]

Era il concetto di "variabile esplicativa" che non mi quadrava. Ma potrebbe essere dovuto al semplice fatto che parliamo due lingue differenti e che io faccia molta fatica a capire la tua (per mancanze di relative basi), e quindi nella diversa formalizzazione dei problemi nascono fraintendimenti (probabilmente solo da parte mia). Sicuramente rileggendo con attenzione, la tua "traduzione formale" potrebbe essere più o meno corretta, al contrario di quanto ti ho detto prima (come parziale giustificazione posso aggiungere che mi risultava anche difficile capire a cosa ti riferissi, senza quote); ma francamente non sono neanche in grado di verificarlo.

Guarda, l'intenzione non era fare una traduzione formale, mi e' proprio venuta cosi'.
Alla fine l'importante e' capirsi.

Per me "variabile esplicativa" e' qualunque "cosa" che infili in un "predittore" del prezzo di uno strumento.

-) Mi sento di tornare a scartare il tuo punto 4.

Interessante.
Intendi nel senso che le finalita' dell'automatizzazione del processo sono altre (non risparmiare tempo ed evitare bias) o che l'automatizzazione del processo non e' strettamente necessaria ?

-) Il "primo passo" non è regola generale, ed io non credo vi sia contraddizione con il successivo quote.

Qui non ho capito il riferimento al quote, perdonami.

-) Con "osservazioni sulle serie storiche" intendo osservazioni sulle serie storiche di prezzi battuti. Spesso l'ho specificato; altre volte, forse superficialmente, l'ho dato per sottinteso. Fuor di dubbio che una "serie storica costruita o ricostruita" è pur sempre una serie storica. Ma a me sembra un cavillo abbastanza facilmente intuibile. Del resto se ci si mette a spulciare certosinamente i miei post senza un minimo di interpretazione, di errori formali se ne trovano sicuramente tantissimi. Oltre a tutti gli altri

Ecco, il fatto e' che io ho leggiucchiato un po' "in mezzo" (40+ pagine di thread, ma che oh ! ) quindi il riferimento esplicito devo essermelo perso.
Comunque alla luce di questa tua interpretazione piu' stringente dell'espressione "osservazione sulle serie storiche" il tutto diventa piu' chiaro.

Ma infatti non lo sono. Paolo, secondo me, voleva addirittura arrivare non solo a dire che l'errore di overfitting è misurabile, ma che lo si può fare con lo stesso "strumento di misura" che genera l'errore, per usare una metafora scientifica (e per una volta tanto non scomodando Godel).

Spero di no.

L'overfitting fatto in T secondo me non è misurabile neanche in T+DT, come forse (forse) voleva sottolineare stea.

Ho guardicchiato un po' nelle pagine precedenti, ma suppongo stea abbia cancellato tutto.
Ora, questa e' un'opinione interessante: secondo te perche' non e' misurabile ?
Una prima cosa che mi viene in mente e' che lo "underlying phenomenon" in finanza non solo non e' noto, ma a differenza che in fisica nulla garantisce che esso rimanga costante nel tempo.
Quindi quando vado a misurare il lack-of-fit al tempo T+DT, in realta' non so se sto misurando un overfitting o una reale variazione dello "underlying phenomenon".
Ma sono sicuro che tu hai un'idea ancora diversa !

Quali definizioni? Wiki it oppure wiki en?

A dire il vero tutte e due. (immaginare faccina linguacciuta che per qualche motivo non riesco a trovare)

 

[GiuliaP]

...Intendi nel senso che le finalita' dell'automatizzazione del processo sono altre (non risparmiare tempo ed evitare bias) o che l'automatizzazione del processo non e' strettamente necessaria ?...

Le finalità dell'automatizzazione sono molteplici e sicuramente non è strettamente necessaria. Le misure falle tu a piacere

...Ora, questa e' un'opinione interessante: secondo te perche' non e' misurabile ?...

Allora, visto il fraintendimento filosofico-teorico-fisico, specifichiamo che stiamo parlando di overfitting finanziario non "praticamente" misurabile, altrimenti mi si viene a commentare che per esistere deve esserlo: come se stessimo parlando di un fenomeno fisico . Del resto questa mattina ti ho esplicitamente fatto un esempio, purtroppo fisico, in cui l'overfitting viene agevolmente misurato (questo vale anche in risposta alla tua pernacchia finale ).

Premesso questo, l'overfitting finanziario non è praticamente misurabile per quanto detto mille volte da me, per quanto ribadito da kilroy, e per quanto finalmente compreso da Ronky. In sintesi, esattamente perchè non conosciamo minimamente la "relazione sottostante" (che non è certo filosofia), e quale possa essere il suo rapporto con il rumore.

 

[Ronzy2001]

Le finalità dell'automatizzazione sono molteplici e sicuramente non è strettamente necessaria. Le misure falle tu a piacere



Allora, visto il fraintendimento filosofico-teorico-fisico, specifichiamo che stiamo parlando di overfitting finanziario non "praticamente" misurabile, altrimenti mi si viene a commentare che per esistere deve esserlo: come se stessimo parlando di un fenomeno fisico . Del resto questa mattina ti ho esplicitamente fatto un esempio, purtroppo fisico, in cui l'overfitting viene agevolmente misurato (questo vale anche in risposta alla tua pernacchia finale ).

Premesso questo, l'overfitting finanziario non è praticamente misurabile per quanto detto mille volte da me, per quanto ribadito da kilroy, e per quanto finalmente compreso da Ronky. In sintesi, esattamente perchè non conosciamo minimamente la "relazione sottostante" (che non è certo filosofia), e quale possa essere il suo rapporto con il rumore.

A questo punto puoi essere certa che lo hanno capito tutti....

 

[pprllo]

Allora, visto il fraintendimento filosofico-teorico-fisico, specifichiamo che stiamo parlando di overfitting finanziario non "praticamente" misurabile, altrimenti mi si viene a commentare che per esistere deve esserlo: come se stessimo parlando di un fenomeno fisico . Del resto questa mattina ti ho esplicitamente fatto un esempio, purtroppo fisico, in cui l'overfitting viene agevolmente misurato (questo vale anche in risposta alla tua pernacchia finale ).

Premesso questo, l'overfitting finanziario non è praticamente misurabile per quanto detto mille volte da me, per quanto ribadito da kilroy, e per quanto finalmente compreso da Ronky. In sintesi, esattamente perchè non conosciamo minimamente la "relazione sottostante" (che non è certo filosofia), e quale possa essere il suo rapporto con il rumore.

Aspetta un attimo.

Anche io mi riferivo esclusivamente a quello finanziario, infatti nella parte successiva di messaggio ho fatto riferimento ad una proprieta' particolare dei mercati finanziari che certamente non e' riferibile ai modelli fisici !

Detto cio', sulla tua ultima considerazione vorrei produrre breve pippa filosofica di discutibile rilevanza pratica.

Nel tuo esempio di "misurabilita' dell'overfitting" tu proponi di confrontare la relazione "empirica" (magari computazionalmente piu' economica, ad esempio) con una soluzione "teorica" ben conosciuta per il fenomeno che si va a modellare.

Questo e' certamente un modo, ma esiste un altro modo molto utilizzato ed e' quello di confrontare la relazione "empirica" con risultati empirici out of sample. Ad esempio questo e' il modo in cui si "fittano" le costanti universali senza le quali le "soluzioni teoriche ben conosciute" non funzionerebbero.

Dato che la goodness-of-fit di una distribuzione attesa rispetto ad una distribuzione realizzata e' calcolabile senza conoscere la legge che regola la distribuzione realizzata, ecco che possiamo calcolare la goodness-of-fit del nostro modello anche out-of-sample senza dover conoscere l'underlying relationship e neanche il rumore. A questo punto la confrontiamo con la goodness-of-fit in-sample ed abbiamo una metrica dell'overfitting.

Tuttavia questo procedimento presuppone che la underlying relationship esista e sia costante nel tempo e che il rumore sia costante nel tempo.

Ma nessuna di queste due condizioni e' rispettata dai mercati, quindi misurare l'overfitting diventa, in linea di principio, impossibile.

Ma e' impossibile non perche' non conosciamo la underlying relationship, ma perche' non abbiamo la garanzia che essa sia costante.

Tuttavia nella maggior parte dei casi si puo' serenamente approssimare a 0 la possibilita' che l'underlying relationship sia cambiata ed interpretare la misura che otteniamo come misura di overfitting.

PS: la non lo vedo come una pernacchia, ma come un simpatico mostrare la lingua.

 

[GiuliaP]

OT molto piacevole

...Questo e' certamente un modo, ma esiste un altro modo molto utilizzato ed e' quello di confrontare la relazione "empirica" con risultati empirici out of sample. Ad esempio questo e' il modo in cui si "fittano" le costanti universali senza le quali le "soluzioni teoriche ben conosciute" non funzionerebbero...

Non ho conoscenze specifiche in merito, quindi parlo per parlare, seguendo il mio intuito. Mi perdonerai sicuramente qualunque fesseria possa scrivere.

A primo acchitto posso notare che le costanti non sono relazioni e non hanno rumore, se non un errore di calcolo magari minimizzabile computazionalmente. Probabilmente l'overfitting non esiste neanche. Non so quanto si possa associare questo tipo di fitting (senza overfitting) con quello discusso in questo thread.

...Tuttavia questo procedimento presuppone che la underlying relationship esista e sia costante nel tempo e che il rumore sia costante nel tempo.

Ma nessuna di queste due condizioni e' rispettata dai mercati, quindi misurare l'overfitting diventa, in linea di principio, impossibile...

Queste due condizioni non sono rispettate neanche da gran parte dei sistemi fisici: nella peggiore delle ipotesi si rischia di fare la fine del tacchino, ingrassato fino al Ringraziamento.

In ogni caso è una buona occasione per precisare che non solo non abbiamo informazioni sulla relazione sottostante, ma neanche sul rumore che la corrompe. Altra cosa data per scontata e mai specificata fino ad ora.

...Ma e' impossibile non perche' non conosciamo la underlying relationship, ma perche' non abbiamo la garanzia che essa sia costante...

Se ragioniamo sulla relazione sottostante come funzione anche del tempo, questi due concetti si fondono. Ovvero dire che non abbiamo la garanzia che sia costante nel tempo, equivale a dire che non conosciamo la relazione sottostante "in funzione del tempo".

...Tuttavia nella maggior parte dei casi si puo' serenamente approssimare a 0 la possibilita' che l'underlying relationship sia cambiata ed interpretare la misura che otteniamo come misura di overfitting...

Dipende. Troppo generale come affermazione


Per concludere sul punto di partenza ed il tuo ragionamento generale: l'esperienza out-of-sample, qualora fatta con criterio (e su questo criterio si apre praticamente un altro mondo) ci dirà se il nostro overfitting è tollerabile o meno. E questo vale sicuramente anche per i mercati
Tuttavia è importante notare che i dati out-of-sample non sono i dati utilizzati per il fitting, e lo stesso procedimento di verifica esula dallo stesso.

Il problema di illogicità nella misurabilità dell'overfitting discusso con Paolo, e toccato già in passato su altro forum, sorge nel voler misurare l'overfitting a posteriori, e con gli stessi strumenti con i quali lo si è prodotto.

Fermo restando che il problema di misurabilità resta comunque anche out-of-sample sia per la mutabilità dei mercati, sia per Heisenberg-GiuliaP.

 

[Paolo1956]

Ooohh, qui c'è qualcosa che mi piace di più.

Io penso che in generale, la distinzione fra segnale e rumore sia spesso convenzionale, cioè, segnale è il presunto fenomeno che la nostra legge cerca di descrivere, rumore tutto il resto.

 

[pprllo]

OT molto piacevole

Condivido.

Non ho conoscenze specifiche in merito, quindi parlo per parlare, seguendo il mio intuito. Mi perdonerai sicuramente qualunque fesseria possa scrivere.

A primo acchitto posso notare che le costanti non sono relazioni e non hanno rumore, se non un errore di calcolo magari minimizzabile computazionalmente. Probabilmente l'overfitting non esiste neanche. Non so quanto si possa associare questo tipo di fitting (senza overfitting) con quello discusso in questo thread.

Cerco di spiegarmi ed arricchisco di esempio simpatico.
Voglio trovare il valore di una costante universale.

Formulo un esperimento tale che prendo una serie di misure A, B, C, ..

E poi ottengo una legge del tipo:

F(A, B, C, ...) = K * G(A, B, C, ...)

dove F e G sono note.

I risultati che ottengo saranno effetti da errori di vario tipo, alcuni eliminabili, altri no. In definitiva ottengo anche qui un "segnale + rumore" che utilizzo per ricavare il mio valore di K.

Tra qualche anno pero', arriva un altro ricercatore che fa lo stesso esperimento, trovando un modo per ridurre gli errori di misura, e trova che avevo, pur minimamente, "overfittato" ! Ovvero il valore di K che avevo individuato (e quindi la forma definitiva che avevo dato alla relazione F(...) = K * G(...) in realta' descriveva, seppure in minima parte, il rumore.

E ora faccio un esempio di un caso celebre ed anche istruttivo !

Oil drop experiment - Wikipedia, the free encyclopedia

Queste due condizioni non sono rispettate neanche da gran parte dei sistemi fisici: nella peggiore delle ipotesi si rischia di fare la fine del tacchino, ingrassato fino al Ringraziamento.

Non saprei, onestamente penso che la "underlying relationship" nella scienza si assuma generalmente costante in tempi "umani".
Se non altro perche' altrimenti tutto il discorso della falsificazione e della verita' come asintoto delle successive approssimazioni andrebbe a ramengo (se la verita' saltella in giro come faccio a tenderci asintoticamente ? )

In ogni caso è una buona occasione per precisare che non solo non abbiamo informazioni sulla relazione sottostante, ma neanche sul rumore che la corrompe. Altra cosa data per scontata e mai specificata fino ad ora.

Mi pare che da qualche parte qualcosa sul rumore l'avevi scritta.

Se ragioniamo sulla relazione sottostante come funzione anche del tempo, questi due concetti si fondono. Ovvero dire che non abbiamo la garanzia che sia costante nel tempo, equivale a dire che non conosciamo la relazione sottostante "in funzione del tempo".

Concordo.

Dipende. Troppo generale come affermazione

Ti diro' che a me e' capitato ad esempio che un cambiamento drammatico nel "rumore" mi aveva quasi condotto a pensare che la underlying relationship fosse "morta" ... Invece poi era ancora li'. Quindi si' in effetti forse era troppo tranchant.

Per concludere sul punto di partenza ed il tuo ragionamento generale: l'esperienza out-of-sample, qualora fatta con criterio (e su questo criterio si apre praticamente un altro mondo) ci dirà se il nostro overfitting è tollerabile o meno. E questo vale sicuramente anche per i mercati
Tuttavia è importante notare che i dati out-of-sample non sono i dati utilizzati per il fitting, e lo stesso procedimento di verifica esula dallo stesso.

Il problema di illogicità nella misurabilità dell'overfitting discusso con Paolo, e toccato già in passato su altro forum, sorge nel voler misurare l'overfitting a posteriori, e con gli stessi strumenti con i quali lo si è prodotto.

Fermo restando che il problema di misurabilità resta comunque anche out-of-sample sia per la mutabilità dei mercati, sia per Heisenberg-GiuliaP.

Che non si possa misurare in-sample e', direi, fuori da ogni dubbio.
Oh, ma sto prinpio di H-GP l'ho cercato scritto in chiaro tra i post, ma mi sfugge insistentemente ! Me lo scriveresti per esteso ? Anche link va bene !