Overfitting

...(se la verita' saltella in giro come faccio a tenderci asintoticamente ? :D)...

Saltelli anche tu :D. Se la relazione sottostante dipende dal tempo, anche la tua stima di essa dovrà farlo.

...Oh, ma sto prinpio di H-GP l'ho cercato scritto in chiaro tra i post, ma mi sfugge insistentemente ! Me lo scriveresti per esteso ? Anche link va bene ! :D

:D

In effetti non è stato mai esplicitato. In teoria dovrebbe avere anche un paio di corollari :D

La base di partenza sarebbe l'applicazione del principio di Heisenberg ai mercati finanziari.

Se partecipi alla sua formalizzazione, come hai fatto brillantemente con i 5 passi, possiamo battezzarlo principio di Heisenberg-pprllo-GiuliaP :D

P.S. Dimenticavo: molto belli gli esempi! Thanks ;)
 
Ultima modifica:
Ooohh, qui c'è qualcosa che mi piace di più.

Io penso che in generale, la distinzione fra segnale e rumore sia spesso convenzionale, cioè, segnale è il presunto fenomeno che la nostra legge cerca di descrivere, rumore tutto il resto.

Osservazione degna di considerazione.

Mi e' venuto in mente un paragone con gli strumenti di misura.

Prendo un atomo e lo deposito su una superficie. Voglio conoscere la posizione dell'atomo.

In linea di principio posso calcolare la massima precisione con cui posso conoscere questo dato. Heisenberg, rumore termico, etc. Siamo ancora al "noumeno".

Poi devo scegliere il "fenomeno": dico radiazione in banda ottica. Posso ancora calcolare la massima precisione ottenibile da questo "segnale".

A questo punto ho il "rumore intrinseco" nella "underlying relationship", cioe' inscindibile dal segnale.

Poi ci metto un microscopio ottico *vero*, e la risoluzione che raggiungo non e' neanche 1/10 di quella stimata. Questo non e' "rumore" proprio del fenomeno, ma rumore del mio strumento.

Ritorniamo al mercato. Uno strumento opera una trasformazione dall'underlying relationship "vera" ad una relazione propria dello strumento.

Quando scegliamo i nostri modelli di stima per i mercati, operiamo una trasformazione dalla underlying relationship "vera" dei mercati a quella implicita nel nostro modello, ma non abbiamo modo di sapere se il rumore che misuriamo alla fine e' "intrinseco" del mercato o ce lo abbiamo messo noi.

A mio avviso questa e' una delle ragioni per cui il concetto di random - walk e' errato. E' ovvio che il segnale ti esce tutto rumoroso se usi una lente sporca. Questo non dimostra che il segnale non esista, pero'. In generale non e' possibile prendere una singola lente e poi dire "ecco, questo e' il rumore intrinseco del segnale".
Saltelli anche tu :D. Se la relazione sottostante dipende dal tempo, anche la tua stima di essa dovrà farlo.
Su questo passaggio prima mi sono incartato. :D
Infatti:
La relazione sottostante varia nel tempo.
E' possibile stimare una relazione che descrive l'evoluzione della relazione sottostante nel tempo.
Ma questa relazione, e' costante nel tempo ?
Se si', siamo di nuovo ad una relazione costante.
Se no, e' casuale, oppure e' possibile stimare una relazione che descrive l'evoluzione della relazione che descrive l'evoluzione della relazione sottostante nel tempo. (:wall:)
Ripetendo ricorsivamente il ragionamento, hai 3 possibilita':
1) Relazione costante.
2) Relazione casuale, che pero' si ripercuote a cascata su tutto quello che viene dopo e di conseguenza ti rende impossibili tutte le stime.
3) Relazione ignota, ma di impatto "riducibile ad epsilon piccolo a piacere", tale che puoi considerarla effettivamente costante.
Che dici ? :D

Fornisco esempio pratico.

Sia data la relazione sottostante:

y = F(x) = e^x

Si supponga di voler approssimare asintoticamente y con una polinomiale.

Si scrivera' la classica serie di Taylor

y = 1 + x + x^2 / 2 + ... x^n / n!

Andiamo a vedere la forma generale della serie di Taylor ...

F(x) = f(a) + f'(a) * (x - a) + f''(a) * (x - a)^2 / 2! + f(n)(a) * (x - a)^n / n!

Che possiamo interpretare euristicamente come:

Prossimo valore = Valore attuale + Underlying + Underlying dell'underlying + Underlying dell'underlying dell'underlying + Underlying dell'underlying dell'underlying dell'underlying + ... + epsilon piccolo a piacere.

Ovvero continuiamo a stimare finche' non ci rendiamo conto che, a meno di un epsilon trascurabile, possiamo stimare l'ultima underlying come costante !

Curiosita': a meno di un paio di passaggi concettualmente non molto rilevanti questo e' effettivamente il modo in cui si calcola e^x.



:D

In effetti non è stato mai esplicitato. In teoria dovrebbe avere anche un paio di corollari :D

La base di partenza sarebbe l'applicazione del principio di Heisenberg ai mercati finanziari.

Se partecipi alla sua formalizzazione, come hai fatto brillantemente con i 5 passi, possiamo battezzarlo principio di Heisenberg-pprllo-GiuliaP :D

P.S. Dimenticavo: molto belli gli esempi! Thanks ;)
Dopo mi metto a cercare meglio nei post qualche appiglio. :D

Comunque se anche tu mi aiuti a mettere insieme un po' di pezzi non e' una cattiva idea. :D

Sono contento che ti siano piaciuti gli esempi. :D
 
Ultima modifica:
Senza farla troppo complicata, semplificando al massimo, e senza nessun rigore, potrei dire che per un approccio con la media mobile il drift è segnale e la dev è rumore. Se invece uso uno stocastico, la dev diventa segnale.
 
@pprillo: secondo me azzardi troppi paragoni. Tu puoi sviluppare con taylor perché c'è un teorema che te lo garantisce (cosa che non puoi fare con un random walk).

Prendiamo due esempi limite opposti:

- il trader A esamina lo storico del titolo Acme, ci appiccica sopra una media, poi una seconda media, poi un rsi al quale applica delle bollinger. Infine qualche numerino magico e ottiene una equity che reputa soddisfacente. A questo punto va a mercato.

- il trader B, che in questo caso identificherò ad es. in PAT, fa un ragionamento a priori sugli aumenti di capitale bancari in questo momento storico e decide una strategia. Non ha quindi uno storico con cui confrontarsi, ciononostante va a mercato.

Il primo caso è sospettabile di overfitting e c'è un forte argomento di tipo probabilistico per ritenere che il sistema a mercato fallirà (se interessa approfondisco).

Il secondo caso viene usato completamente al buio, o bene bene o male male, non ci sono esempi passati sui quali testare la strategia.

Cosa preferiremmo e perché?

Secondo esempio:

Tiriamo 100 volte una moneta: viene la sequenza TTCTCCCT........TCTTC.

Possiamo ipotizzare che se tiriamo nuovamente la moneta 100 volte troveremmo la stessa frequenza?

E se invece fosse venuta la sequenza TCTCTCTC......TC ?

In entrambi i casi le probabilità sono le stesse, 1/2^100, ma nel secondo caso ci parrebbe ragionevole pensare che la sequenza si ripeterà. Perché ?
 
@pprillo: secondo me azzardi troppi paragoni. Tu puoi sviluppare con taylor perché c'è un teorema che te lo garantisce (cosa che non puoi fare con un random walk).

Prendiamo due esempi limite opposti:

- il trader A esamina lo storico del titolo Acme, ci appiccica sopra una media, poi una seconda media, poi un rsi al quale applica delle bollinger. Infine qualche numerino magico e ottiene una equity che reputa soddisfacente. A questo punto va a mercato.

- il trader B, che in questo caso identificherò ad es. in PAT, fa un ragionamento a priori sugli aumenti di capitale bancari in questo momento storico e decide una strategia. Non ha quindi uno storico con cui confrontarsi, ciononostante va a mercato.

Il primo caso è sospettabile di overfitting e c'è un forte argomento di tipo probabilistico per ritenere che il sistema a mercato fallirà (se interessa approfondisco).

Il secondo caso viene usato completamente al buio, o bene bene o male male, non ci sono esempi passati sui quali testare la strategia.

Cosa preferiremmo e perché?

Secondo esempio:

Tiriamo 100 volte una moneta: viene la sequenza TTCTCCCT........TCTTC.

Possiamo ipotizzare che se tiriamo nuovamente la moneta 100 volte troveremmo la stessa frequenza?

E se invece fosse venuta la sequenza TCTCTCTC......TC ?

In entrambi i casi le probabilità sono le stesse, 1/2^100, ma nel secondo caso ci parrebbe ragionevole pensare che la sequenza si ripeterà. Perché ?

Preferirei di gran lunga il metodo PAT ( che secondo me è uno dei migliori trader che abbia mai incrociato sul web) , quando le cose vanno male o ci si affida ad un ragionamento o è veramente difficile andare avanti chiedendosi se forse l' RSI era meglio tararlo a 30 e non a 14...
 
...Su questo passaggio prima mi sono incartato. :D
Infatti:
La relazione sottostante varia nel tempo.
E' possibile stimare una relazione che descrive l'evoluzione della relazione sottostante nel tempo.
Ma questa relazione, e' costante nel tempo ?
Se si', siamo di nuovo ad una relazione costante.
Se no, e' casuale, oppure e' possibile stimare una relazione che descrive l'evoluzione della relazione che descrive l'evoluzione della relazione sottostante nel tempo. (:wall:)...Che dici ? :D...

Dico che stiamo cercando di "fittare" nostri linguaggi e conoscenze, e non è cosa semplice e rapida. Per fortuna ci aiuta la logica, che è universale :)

Quando tu hai scritto...

...Tuttavia questo procedimento presuppone che la underlying relationship esista e sia costante nel tempo...

...pensavo volessi intendere che la relazione non "dipenda" dal tempo. Anche perchè una relazione che, a prescindere dalle sue dipendenze, "cambia" nel tempo, non sarebbe assolutamente modellabile, a meno di avere informazioni sulle sue metamorfosi.

Volendo rituffarci in maniera interessante nell'ambito del topic, io personalmente sono convinta (opinione personale) della "dipendenza" temporale della relazione.
Riguardo invece i "cambiamenti" della relazione, a parte il rendersi conto dell'evento, credo che nulla si possa fare in termini previsionali se non attraverso ragionamenti discrezionali, informazioni strutturali, formali e regolamentari, oppure insider. Ma con grande difficoltà (edit: non che sia facile farlo senza "cambiamenti" :D).

P.S. Sono curiosissima di leggere come TU risponderai a Paolo. Non mi deludere :prr:
 
Ultima modifica:
P.S. Sono curiosissima di leggere come TU risponderai a Paolo. Non mi deludere :prr:

Non è una gara a chi ce l'ha più lungo. Io del resto ce l'ho lunghissimo.

In realtà chiedete troppo. La relazione variabile col tempo può significare ad es. che fasi molto diverse sono dominate da relazioni diverse, o da esplicative diverse. Non sto dicendo che è così, sto dicendo che potrebbe ragionevolmente esserlo.

Per esemplificare,

usare una media significa probabilmente presupporre una relazione abbastanza debole e non necessariamente costante fra drift e sigma.

All'estremo opposto, Sornette sviluppa un modello delle bolle attraverso precise assunzioni sul comportamento degli agenti nel mercato, e giungendo a equazioni in forma chiusa.

Sono due estremi, ma del resto spesso dobbiamo contentarci.
 
Oh bè, quella è semplicemente una osservazione empirica facilmente riproducibile.

Tornando agli esempi di prima, luka ha detto che preferirebbe il metodo PAT. Si tratta del massimo del time dependencie, una relazione pensata per quel momento e solo per quello.
 
Oh bè, quella è semplicemente una osservazione empirica facilmente riproducibile.

Tornando agli esempi di prima, luka ha detto che preferirebbe il metodo PAT. Si tratta del massimo del time dependencie, una relazione pensata per quel momento e solo per quello.

Certo un minimo di verifica ci deve essere...prendiamo gli adc fondiaria , pop milano come verifica e poi al massimo l'applichiamo su ucg, se c'è una relazione causa effetto :up:
 

Users who are viewing this thread

Back
Alto