massimo ceraldo
[::..|..::]
Colgo l'occasione per fare gli auguri di buona Pasqua a tutti, belli e brutti
Altrettanto
- Se tu fossi qui - Pino Daniele - YouTube -
Overfitting
- Creatore Discussione GiuliaP
- Data di Inizio
Altrettanto
- Se tu fossi qui - Pino Daniele - YouTube -
Il Conte Pedro
Not so easy
Colgo l'occasione per fare gli auguri di buona Pasqua a tutti, belli e brutti
Buona Pasqua a tutti voi
tdazio
Nuovo forumer
Qualcuno ha letto il paper del caro Marcos Lopez de Prado per caso?
(che nome caliente)
....
Sì, ho letto quello e gli altri paper sul tema di lopez et al.: concordo, il tentativo di misurare l'overfitting è abbastanza debole e fumoso.
Secondo me l'importanza del maffia-team non è tanto nei tentativi di misura o, peggio, nei possibili rimedi (il k-fold cross validation è noto da anni) ma nell'aver posto l'accento sul problema e sulle sue implicazioni 'economiche'.
Ho fatto qualche test su 5 anni di SPY eod ed è aggiacciante notare che bastano qualche decina di strategie random con rendimenti attesi zero, per averne una con sharpe di tutto rispetto.
Almeno uno sa che valore può avere tutta quella paccottiglia scritta sui vari blog americani, dove si analizzano cose tipo halloween effect, january effect e, recentemente, l'effetto pasqua
Buona pasqua
GiuliaP
The Dark Side
Qualcuno ha letto il paper del caro Marcos Lopez de Prado per caso?
(che nome caliente
The Probability of Backtest Overfitting by David H. Bailey, Jonathan M. Borwein, Marcos Lopez de Prado, Qiji Jim Zhu :: SSRN
Gli ho dato una lettura oggi:
Assumendo che l'abbia capito, e' interessante ma mi sembrerebbe avere qualche limitazione molto...limitante
Niente in contrario al fatto che ci siano limitazioni (dato l'argomento non so se puo' esserci una soluzione definitiva), ma la dicitura "Probability of Backtesting Overfitting" sembra un po'... vittima di overfitting
Questa mattina SSRN è in manutenzione, ma se l'idea è quella di misurare l'overfitting, direi che la si può già commentare a priori.
In passato, credo sul fol, qualche astrologo, francamente non ricordo chi, forse paolino, cercò di misurare l'overfitting (magari ora ci apriranno un altro thread appositamente
).Provai a spiegare già allora, utilizzando nomi e teoremi altisonanti, che ciò non era matematicamente/logicamente possibile. Ovviamente inutilmente.
Forse il solito semplicissimo ragionamento per assurdo dovrebbe poter togliere qualche dubbio: se fossi in grado di misurare l'errore (il rumore) che ottengo in una misura, allora sarei anche in grado di correggerlo, ovvero di non commetterlo affatto.
Qualora invece mi volessi accontentare di ottenere un intervallo di incertezza, è fondamentale tener presente che nei mercati finanziari la componente di rumore del segnale, oltre ad essere strutturalmente stocastica, è assolutamente preponderante, e quindi l'intervallo di incertezza risulterebbe tanto grande quanto inutile.
Detto in altri termini, se non siamo in grado di filtrare "significativamente" il rumore, non possiamo certo "significativamente" misurarlo.
P.S. E' fondamentale inoltre il concetto che il rumore non è comunque misurabile dallo stesso strumento che lo commette, ma per ora tralasciamo questo "piccolo particolare"
Per definizione!
...Ho fatto qualche test su 5 anni di SPY eod ed è aggiacciante notare che bastano qualche decina di strategie random con rendimenti attesi zero, per averne una con sharpe di tutto rispetto.
Almeno uno sa che valore può avere tutta quella paccottiglia scritta sui vari blog americani, dove si analizzano cose tipo halloween effect, january effect e, recentemente, l'effetto pasqua
Mi fa molto piacere che la discussione sull'overfitting stia maturando, con i suoi partecipanti, nella direzione corretta.
Magari prima o poi salta fuori qualche livello 2!
Ultima modifica:
Imar
Forumer attivo
.... non ho alcuna difficoltà ad ammettere che avevate ragione tu e l'ottimo "Give me leverage" (per chi vuol rivedere tutto, il thread è "Die Schrödingers Post-Katze") .
E se ci fosse stato bisogno di conferma, la nuova recentissima discussione su Monty Hall(nel forum dei geni econometrici che più geni non si può....
///////////////////////////////////////////////////////////////////////////////
“Il concetto di probabilità è il più importante della scienza moderna, soprattutto perché nessuno ha la più pallida idea del suo significato.” (Bertrand Russel)
“La probabilità: chi è costei? Prima di rispondere a tale domanda è certamente opportuno chiedersi: ma davvero “esiste” la probabilità? e cosa mai sarebbe? Io risponderei di no, che non esiste.” (Bruno de Finetti)
///////////////////////////////////////////////////////////////////////////////
Ad integrare (e come tentativo di spiegazione prima che qualcuno che passa sull’altro forum pensi che …. le probabilità non esistono IN NESSUN CASO o non sono MAI utilizzabili/comprensibili… che non è certamente questo che volevano intendere Russel e De Finetti): da quando scrissi su FOL quanto riportato qui sopra, ci ho riflettuto un poco (at the ed of the day, se quanto letto su un forum fa riflettere.... beh... è comunque una cosa positiva...).
Secondo me (e mi si scuserà la presunzione di correggere un prof di matematica, io che di matematica non so quasi nulla….), l’errore di Salviati nasce dal confondere il momento in cui calcolo la probabilità dal momento –SUCCESSIVO - in cui la applico ad un nuovo caso concreto (ovviamente simile in tutto e per tutto ai casi usati per il calcolo).
Prendiamo questo concetto, che è quello centrale che egli ripete più volte
Quando Salviati scrive “la probabilità è un passaggio al limite”, esprime un concetto CORRETTO, ma semplicemente espone l’approccio frequentista (Von Mises, etc….) , che – IN FASE di CALCOLO – richiede ovviamente che N (cioè il numero degli esperimenti) tenda ad infinito.
Non per niente nel linguaggio comune, probabilità è sinonimo di “legge dei grandi numeri”
Ma una volta che la probabilità è attribuita – in qualunque modo (e nei giochi di azzardo non occorre scomodare la concezione frequentista, basta ragionare sulla definizione classica di Fermat e Pascal…) – ESSA si applica ANCHE al singolo tentativo
Di conseguenza, la seconda parte della frase “su pochi casi non funziona” se non riferita alla fase di CALCOLO, ma alla successiva fase di APPLICAZIONE ad un nuovo caso concreto (ed ovviamente simile in tutto e per tutto ai casi usati per il calcolo), è SBAGLIATA, e basta la semplice osservazione di Andrew per rendersene conto
Quindi se abbiamo una monetina con P(testa) = 0.66, lei sarebbe contento (o quanto meno indifferente) di fare una singola giocata di 100euro con me puntando (lei) su croce?
La terza parte della frase “devo ricorrere ad una distribuzione binomiale o ad una correzione di varianza campionaria” E’ FUORVIANTE (ed è stato qui il mio errore...) perché non riguarda né il calcolo nè l’applicazione della probabilità su un nuovo caso concreto, ma piuttosto (come han fatto notare PGP e GML) la stima del rischio che l’esito ottenuto su piccoli campioni sia molto difforme dalla “legge dei grandi numeri”.
Questo è semplicemente un modo diverso per dire che se anche il mio sistema di trading ha una aspettativa positiva (es è come una moneta truccata, in cui – sui grandi numeri – esce testa 6 volte su 10) devo comunque adottare una SIZE della singola puntata sufficientemente ALTA per massimizzare il mio risultato finale, ma – al contempo – sufficientemente bassa per non permettere ad una “bad streak” di esaurire il capitale disponibile ed essere estromesso dal gioco prima che la “legge dei grandi numeri” possa esplicare i suoi effetti.
Ultima modifica:
g.l.
Forumer storico
Forse la considerazione che sto per fare risultera' banale (o peggio
). A mio parere, la componente di rumore del segnale, diminuisce all'aumentare della frequenza di campionamento considerata. In pratica, un grafico a barre mensili puo' essere considerato meno "rumoroso" di un grafico a barre da 5 minuti.E questo perche' maggiore e' il time frame preso in considerazione, e maggiore e' la probabilita' che un determinato movimento sia in qualche modo legato ad una tendenza di carattere "fondamentale" di fondo. (In qualche modo potrebbe essere una delle giustificazioni dell'effetto momentum.)
Che ne pensi?
Ultima modifica:
AndrewLR
Nuovo forumer
Concordo in parte, m'e' anche piaciuto l'approccio "non devo distinguire IS da OS", ma faccio un sampling del tutto (che e' un po' un mischiare diverse idee, ma che, io almeno, non avevo mai letto in questa forma)
Questa mattina SSRN è in manutenzione, ma se l'idea è quella di misurare l'overfitting, direi che la si può già commentare a priori.
Ho allegato il file, come detto a me e' sembrato interessante e valere una lettura.
In passato, credo sul fol, qualche astrologo, francamente non ricordo chi, forse paolino, cercò di misurare l'overfitting (magari ora ci apriranno un altro thread appositamente
Provai a spiegare già allora, utilizzando nomi e teoremi altisonanti, che ciò non era matematicamente/logicamente possibile. Ovviamente inutilmente.
Forse il solito semplicissimo ragionamento per assurdo dovrebbe poter togliere qualche dubbio: se fossi in grado di misurare l'errore (il rumore) che ottengo in una misura, allora sarei anche in grado di correggerlo, ovvero di non commetterlo affatto.
Personalmente, non mi convince tanto questo tuo ragionamento per assurdo.
Il discorso sul misurare l'errore, se lo stai facendo in generale e non in riferimento specifico ai mercati, penserei sia chiaro non possa valere. Imparare da trial and error e' pratica comune in tutte le nostre vite, magari se intendi un filosofico (e quantistico e non so quanto utile) determinare esattamente la "misura" di qualcosa mi vedi d'accordo, ma abbiamo comunque un ampio spazio di miglioramento che puo' portare a stime soddisfacenti (che e' quello che interessa a noi alla fine da un punto di vista pratico)
In riferimento ai mercati:
Beh ma se noi operiamo sui mercati, e' necessariamente perche' crediamo di poter filtrare significantmente il rumore in un modo o nell'altro (implicitamente o esplicitamente, formalmente o per semplice logica).
Sul "misurare significativemente", dipende cosa intendi - data la natura dell'oggetto, direi direttamente che il verbo "misurare" non calza proprio, al massimo userei "stimare" e ci cospargerei sopra un pizzico di "statisticamente", ma solo dopo aver macinato del "in certe situazioni"
P.S. E' fondamentale inoltre il concetto che il rumore non è comunque misurabile dallo stesso strumento che lo commette, ma per ora tralasciamo questo "piccolo particolare"
Ma per fortuna a noi non serve farlo
GiuliaP
The Dark Side
Esatto, ottima sintesi!
Forum di Finanzaonline.com - Visualizza messaggio singolo - Die Schrödingers Post-Katze
https://www.youtube.com/watch?v=_4JO7Pzr3K8
P.S. L'osservazione di AndrewLR:
Forum di Finanzaonline.com - Visualizza messaggio singolo - Die Schrödingers Post-Katze
Forse la considerazione che sto per fare risultera' banale (o peggio
E questo perche' maggiore e' il time frame preso in considerazione, e maggiore e' la probabilita' che un determinato movimento sia in qualche modo legato ad una tendenza di carattere "fondamentale" di fondo. (In qualche modo potrebbe essere una delle giustificazioni dell'effetto momentum.)
Che ne pensi?
Ma certo, visto che così filtri a priori tutte le alte frequenze, che sono quelle più sensibili al rumore!
Il rovesci della medaglia è che sprechi la tua risorsa più importante: il tempo.
Soprattutto perché i feedback saranno molto più lenti, ma anche perché il capitale si comporrà molto più lentamente.
E' tutta questione di condizioni iniziali ed obiettivi personali.
E' esattamente per questo che ho parlato subito dopo di "intervallo di incertezza", o se preferisci "di confidenza".
Riguardo il trial and error, seppur pratica comune, vale quando applicato a processi comunque deterministici. Quando lo si applica al caso porta esattamente overfitting nella misura in cui è intrinsecamente casuale ciò che stiamo osservando.
Ma certo!
E se ci riusciamo vuol dire che ci siamo riusciti!!!
Tutta questa è una sorta di semantica che dipende direttamente dall'ottica che utilizzi per osservare i mercati
Ma per fortuna a noi non serve farlo
Ecco!
A noi serve evitarlo in partenza, l'errore!
Ultima modifica:
cammello
Forumer storico
Buona Pasqua a tutti.
riapro un attimo un tema che ha fatto cadere le braccia a PGP, più per chiedere se ci sono altri IWsti cui succedono cose simili o sono il solo baciato dal fato. (Imar, questo è un caso più che vero, se vuoi ti mando tutti i dati )
Stamane verso le 7:50 mi arriva la solita mail di Iw con la contabilità derivati; vincolati derivati xxx euri
alle 8.03 aggiorno sulla QT: il saldo vincolato è xxx + 5.959,6.
Cioè: a mercati chiusi, in 15 minuti, questi si pigliano 6mila euri così, "tanto per".
La cosa "divertente" è che fino a circa le 8:35 sto benedetto valore varia, un po' in su, un po' in giù, fino a fermarsi a xxx + 5.905,13
Va be, non sono seimila, ma sono parenti stretti
Mercati sempre chiusi, eh.
L'unica cosa è che potrebbero essersi accorti che sono scadute queste 3 (tre) call
2014/03/03 3 0 STXE APR4 3350C EUREX 2 EURO
TOTALE 3 0 PREZZO DI CHIUSURA .01
Allora, ste tre valgono 0 (zero) da più di una settimana quindi mi aspetto che IW ne tenga conto da quel dì e mi carichi i margini a mano a mano che si avvicini la data di scadenza (sono talmente DOTM che non proteggono nulla, ihmo).
Per cui se la causa è questa, si torna a ciò che scrissi tempo addietro: mi prendo un paio di otm e mi tengo i soldi sul conto.
6000 euri preferisco averli "per me" che non darli alla banca, sarà sbagliato ma dalle parti di PGP mi hanno insegnato
"articolo quinto, chi tiene in mano ha vinto"
Due domande:
la prima a PGP se e quando si riprende dallo scandalo: è giusto che delle DOTM siano considerate "attive" fino all'ultimo nel calcolo dei margini?
L'altra ad eventuali IWsti, se hanno problemi simili.
IW in chat mi ha detto di aspettare martedì e vedere se alla riapertura dei mercati si sistema
Grazie
C
riapro un attimo un tema che ha fatto cadere le braccia a PGP, più per chiedere se ci sono altri IWsti cui succedono cose simili o sono il solo baciato dal fato. (Imar, questo è un caso più che vero, se vuoi ti mando tutti i dati
)Stamane verso le 7:50 mi arriva la solita mail di Iw con la contabilità derivati; vincolati derivati xxx euri
alle 8.03 aggiorno sulla QT: il saldo vincolato è xxx + 5.959,6.
Cioè: a mercati chiusi, in 15 minuti, questi si pigliano 6mila euri così, "tanto per".
La cosa "divertente" è che fino a circa le 8:35 sto benedetto valore varia, un po' in su, un po' in giù, fino a fermarsi a xxx + 5.905,13
Va be, non sono seimila, ma sono parenti stretti
Mercati sempre chiusi, eh.
L'unica cosa è che potrebbero essersi accorti che sono scadute queste 3 (tre) call
2014/03/03 3 0 STXE APR4 3350C EUREX 2 EURO
TOTALE 3 0 PREZZO DI CHIUSURA .01
Allora, ste tre valgono 0 (zero) da più di una settimana quindi mi aspetto che IW ne tenga conto da quel dì e mi carichi i margini a mano a mano che si avvicini la data di scadenza (sono talmente DOTM che non proteggono nulla, ihmo).
Per cui se la causa è questa, si torna a ciò che scrissi tempo addietro: mi prendo un paio di otm e mi tengo i soldi sul conto.
6000 euri preferisco averli "per me" che non darli alla banca, sarà sbagliato ma dalle parti di PGP mi hanno insegnato
"articolo quinto, chi tiene in mano ha vinto"
Due domande:
la prima a PGP se e quando si riprende dallo scandalo: è giusto che delle DOTM siano considerate "attive" fino all'ultimo nel calcolo dei margini?
L'altra ad eventuali IWsti, se hanno problemi simili.
IW in chat mi ha detto di aspettare martedì e vedere se alla riapertura dei mercati si sistema
Grazie
C
Similar threads
