Overfitting

[Cren]

ho già detto che quando si sfrutta la correlazione seriale eventualmente presente nei dati cui va il vero merito del successo perché realizza una relazione di causa - effetto , in qualsiasi modo lo si faccia, più o meno sofisticato, funziona . . .

Perdona l'intrusione, Francesco (scusami se non uso il tuo attuale nome di battaglia, ma partendo da «kermitt» per arrivare a «Skarso» passando dai vari «riskaverse», «Sellone Cionpi», «Nello Cionsepi» etc. ho perso davvero il conto ), tuttavia credo che sarebbe utile chiarire un punto su queste «correlazioni seriali».

Premessa doverosa è che, condividendo tu e io un'impostazione culturale abbastanza simile, anche io nutro vivo interesse nell'utilizzo di modelli econometrici con un output "oggettivo" rispetto ad altro genere di elucubrazioni. Benchè abbia ancora molto da imparare, non credo di mancare di modestia se dico che ormai qualcosa ne mastico anche io.

[Per certi versi mi azzarderei addirittura a dire di essermi spinto anche un po' più in là di te, e mi riferisco ai casi in cui tu suggerisci l'utilizzo di «soglie» e «parametri» stabiliti «con l'esperienza» (l'esempio più classico è l'ampiezza delle finestre mobili per le ottimizzazioni) mentre io cerco sempre, spesso con pignolerie degne di un ricovero neuropsichiatrico, di farmi sputare fuori persino quei valori da qualche modello matematico o statistico.]

Terminata questa lunga e noiosa premessa, mi chiedo perchè riponi tutta questa fiducia nelle «correlazioni seriali». Esistono problemi di tue tipi in questo caso:

1. un problema di modello (ipotesi);
2. un problema di misura (uso di stimatori).

Il problema di ipotesi è quello che è stato oggetto delle critiche di PGiulia, e su cui quindi non mi soffermerò. Voglio quindi dare per scontato che l'autocovarianza di una variabile aleatoria sia capace di catturare la componente deterministica di una serie storica, e che tutto ciò che non è spiegato sia rumore bianco e differenza di martingala.

Anche dando per scontato quanto sopra, c'è un problema grande, che è il secondo e sul quale non mi sembra di averti visto scrivere nulla in merito: la letteratura econometrica ha prodotto una mole impressionante di modelli per la stima di varianze, covarianze e, conseguentemente, correlazioni. E questo per cercare di tradurre in qualcosa di misurabile quelle che sono proprietà statistiche che nascono da modelli matematici.

Esempi di questi oggetti sono i famosi "stimatori" che sicuramente abbiamo usato tutti almeno una volta (chi non ha mai scritto in Excel =DEV.ST.()? ) fino ad arrivare a certe sofisticazioni che vanno molto di moda questi giorni... in altri luoghi (faccio il mea culpa ).

Quando tu misuri una «correlazione seriale» ti trascini dietro questo problema di misura in modo preponderante, perchè la varianza non è un processo osservabile. Quindi laddove anche fossero valide le ipotesi del modello matematico, ci sarebbe da chiedersi se le ipotesi del modello econometrico che stai usando per la misurazione siano altrettanto valide.

In sintesi e concludo: quando misuri una correlazione statisticamente significativa, sei sicuro che stai individuando una forma di Granger-causazione e che il tuo risultato non sparirebbe semplicemente usando uno stimatore più preciso, un modello diverso o anche solo allargando o restringendo la dimensione campionaria? E se la risposta fosse affermativa, quanto potremmo fare affidamento su questa misura?

 

[Piedi a Terra]

Proprio sicuro?

Suvvia un pò di fantasia... che qui non si tratta di andare proprio abeccare il titolo che sarà oggetto di OPA....... si tratta di usare meno numeri e più ragionamento.... interessante no?

Io il thread l'ho aperto lo stesso, a beneficio dei 3-4 che non sanno di cosa stiamo parlando.
Ma - già - lo dico subito - si tratta di un argomento che espongo con scopo puramente ludico ed intelletuale.

Quando avrò finito, i suddetti 3-4 lettori NON avranno - IMHO - un trading system funzionante da esportare direttamente AS IS sulla loro piattaforma di trading.

Si, il LHE nella versione classica e' un pattern che negli ultimi 2 anni e mezzo non ha riservato grandi soddisfazioni.

 

[Imar]

Avevo inteso nella precedente lettura del possessivo "miei" l'appartenenza di sottoinsieme riferito a "tutti". Apprendo della rettifica e ne prendo atto.

Caro PAT,

lei è persona gradevole nei toni ed interessante negli argomenti, ma temo che .... io e lei non ci capiremo mai (almeno a giuducare dal numero di fraintendimenti e discussioni avute in passato anche di là).

La mia frase che ha linkato qui sopra si riferiva al fatto che NON sono mia esistiti sottostanti con percentuali di trade NON perdenti del 90% nei miei test di LHE (ok, non ho testato Interbanca).

Resto ancora in attesa di dimostrazione contraria da parte sua o di chi vorrà.

Io non ho niente da rettificare di quello che scrivo sui forum, a parte errori di grammatica e miglioramenti della sintassi.... sulla sostanza sono sempre abbastanza d'accordo con me stesso.

Come detto qui sopra, io non presenterò nulla che possa avere un valore aggiunto PRATICO ED IMMEDIATO per un trader.
Se voglio fare beneficienza, ci sono soggetti più bisognosi.
Ciò non toglie, però, che si possa sviluppare ugualmente - io spero - una discussione interessante e per alcuni anche istruttiva.

 

[Piedi a Terra]

La mia frase che ha linkato qui sopra si riferiva al fatto che NON sono mia esistiti sottostanti con percentuali di trade NON perdenti del 90% nei miei test di LHE

Ok.

(ok, non ho testato Interbanca).

Infatti: e' l'eccezione, sebbene non l'unica, che conferma la regola.

Buon Natale

 

[GiuliaP]

avrei glissato perchè non sono sicuro di aver capito quello che hai scritto, ma visto che lo richiedi:

1) anch'io come PAT ho forti dubbi che la sfera psicologica o almeno quella comportamentale sfugga al determinismo, ma qui si finisce nel campo della filosofia

2) ho dubbi ancora più forti che il comporsi dei prezzi degli asset possa essere messi in relazione con la sfera psicologica propriamente detta, immaginanandoli più che altro come effetto dell'interazione di poche istituzioni finanziarie (che avranno le loro procedure più o meno scritte, più o meno implicite, più o meno note), ma qui si cade nel campo delle opinioni

3) ai tempi, avevo capito che, proprio a causa del principio di Heisemberg da te citato, la fisica era sfuggita dal campo del determinismo, per finire nel campo delle probabilità, essendo caduto il principio di causalità per l'impossibilità insormontabile di conoscere lo stato di tutti gli elementi causativi

4) sto male e non capisco 'approccio deterministico ma il sistema non è deterministico', ora ci dormo su.

5) pur capendo grossolanamente che la fisica e la finanza non condividono lo stesso oggetto di studi le stesse metodologie e quasi niente, io sostenevo solo e semplicemente che: dato sì che pur nella severissima fisica sono state ammesse formulazioni imprecise, direi proprio overfittate, io sono molto poco scandalizzato dall'ottimizzazione di 'variabili' (certo, quando posso sperare che siano segnale e non rumore, su questo siamo perfettamente d'accordo) in una branca del sapere sicuramente meno rigorosa (se non ci fossero tutti questi econometristi, però )

6) eh già! buon Natale!!!

Starless, la separazione tra determinismo e casualità in fisica è molto affascinante nonchè ben lontana dall'essere risolta. E' un argomento che mi affascina moltissimo, e sarei felicissima di andare completamente OT e parlarne con te.

Tuttavia dobbiamo restare sul punto della discussione, altrimenti si parte per la tangente ed ognuno finisce per dire la sua senza purtroppo essere ascoltati ne capiti.

Detto questo, credo sia pacifico che il punto della situazione è l'overfitting con algoritmi ad ottimizzazione empirica: questo e solo questo. Questi metodi sono adatti a sistemi fondati su leggi deterministiche e dove la "misura" non solo presenta "rumore" realtivamente basso, ma anche non influente sulla "misura" stessa.

In questo ambito il mercato non può essere confrontato con un suddetto sistema fisico, non avendo nessuna delle sue caratteristiche. Per questo considero questo tipo di algoritmi, applicati al mercato, overfittanti. Dove invece sono assolutamente "fittanti" su di un sistema fisico caratterizzato comunque da rumore seppur idealmente filtrabile.

In sintesi, la mia critica si riversa non sul metodo di approcciare il mercato, che ancora una volta sottolineo non possa che essere deterministico, ma, specificatamente in risposta a te, sul fatto che non possa trattare il suo sottostante, ovvero il mercato, con un modello fisico classico (lasciamo perdere la fisica quantistica per lo stesso motivo di cui sopra).

Caro Imar e cara Pgiulia,

diceva una vecchia rule of thumb che sicuramente ricorderete:

mediamente

chi dice di vincere il 51-55% delle volte e' credibile
chi dice di vincere il 60% delle volte e' un fenomeno
chi dice di vincere il 90% delle volte e' un un cialtrone

Io invece considero chi su un forum pubblico dice (ed ha bisogno di dire) di vincere con qualsivoglia percentuale, nel 100% dei casi: irrazionale, non professionale, infantile. Sempre nell'ipotesi che non ci sia sotto il solito marketing di vendita per corrispondenza.

Della veridicità dell'affermazione, francamente, non me ne può importare di meno

 

[Piedi a Terra]

Caro PAT,

lei è persona gradevole nei toni ed interessante negli argomenti, ma temo che .... io e lei non ci capiremo mai (almeno a giuducare dal numero di fraintendimenti e discussioni avute in passato anche di là).

E' sufficiente evitare di riscontrare i miei post ed il problema e' risolto, alla radice. Da parte mia mi impegno formalmente, fin d'ora, a rispettare il tit for tat

Un saluto.

 

[Imar]

E' sufficiente evitare di riscontrare i miei post ed il problema e' risolto, alla radice. Da parte mia mi impegno formalmente, fin d'ora, a rispettare il tit for tat

Un saluto.

E' perchè mai?

Tra persone educate ci si spiega..... anche più volte se serve.
Da sempre, ad educazione rispondo con educazione.

Sono altri di cui, francamente, da ormai molto tempo non sono interessato ad approfondire quello che dicono, non certo con lei.

Un cordiale saluto.

 

[Piedi a Terra]

Perdona l'intrusione, Francesco (scusami se non uso il tuo attuale nome di battaglia, ma partendo da «kermitt» per arrivare a «Skarso» passando dai vari «riskaverse», «Sellone Cionpi», «Nello Cionsepi» etc. ho perso davvero il conto ), tuttavia credo che sarebbe utile chiarire un punto su queste «correlazioni seriali».

Premessa doverosa è che, condividendo tu e io un'impostazione culturale abbastanza simile, anche io nutro vivo interesse nell'utilizzo di modelli econometrici con un output "oggettivo" rispetto ad altro genere di elucubrazioni. Benchè abbia ancora molto da imparare, non credo di mancare di modestia se dico che ormai qualcosa ne mastico anche io.

[Per certi versi mi azzarderei addirittura a dire di essermi spinto anche un po' più in là di te, e mi riferisco ai casi in cui tu suggerisci l'utilizzo di «soglie» e «parametri» stabiliti «con l'esperienza» (l'esempio più classico è l'ampiezza delle finestre mobili per le ottimizzazioni) mentre io cerco sempre, spesso con pignolerie degne di un ricovero neuropsichiatrico, di farmi sputare fuori persino quei valori da qualche modello matematico o statistico.]



Terminata questa lunga e noiosa premessa, mi chiedo perchè riponi tutta questa fiducia nelle «correlazioni seriali». Esistono problemi di tue tipi in questo caso:

1. un problema di modello (ipotesi);
2. un problema di misura (uso di stimatori).

Il problema di ipotesi è quello che è stato oggetto delle critiche di PGiulia, e su cui quindi non mi soffermerò. Voglio quindi dare per scontato che l'autocovarianza di una variabile aleatoria sia capace di catturare la componente deterministica di una serie storica, e che tutto ciò che non è spiegato sia rumore bianco e differenza di martingala.

Anche dando per scontato quanto sopra, c'è un problema grande, che è il secondo e sul quale non mi sembra di averti visto scrivere nulla in merito: la letteratura econometrica ha prodotto una mole impressionante di modelli per la stima di varianze, covarianze e, conseguentemente, correlazioni. E questo per cercare di tradurre in qualcosa di misurabile quelle che sono proprietà statistiche che nascono da modelli matematici.

Esempi di questi oggetti sono i famosi "stimatori" che sicuramente abbiamo usato tutti almeno una volta (chi non ha mai scritto in Excel =DEV.ST.()? ) fino ad arrivare a certe sofisticazioni che vanno molto di moda questi giorni... in altri luoghi (faccio il mea culpa ).

Quando tu misuri una «correlazione seriale» ti trascini dietro questo problema di misura in modo preponderante, perchè la varianza non è un processo osservabile. Quindi laddove anche fossero valide le ipotesi del modello matematico, ci sarebbe da chiedersi se le ipotesi del modello econometrico che stai usando per la misurazione siano altrettanto valide.

In sintesi e concludo: quando misuri una correlazione statisticamente significativa, sei sicuro che stai individuando una forma di Granger-causazione e che il tuo risultato non sparirebbe semplicemente usando uno stimatore più preciso, un modello diverso o anche solo allargando o restringendo la dimensione campionaria? E se la risposta fosse affermativa, quanto potremmo fare affidamento su questa misura?

Ok, ma, oggettivamente, chi sarebbe all'altezza di poter discutere con te di argomenti come teoria della misura e teoria degli stimatori, ad eccezione di Wampyro che forse in questa sede non e' nemmeno presente?

Anche perche' tra di noi ci conosciamo bene un po' tutti e conosciamo reciprocamente i nostri limiti.
Non sarebbe meglio in un forum di trading syste (questo e' l'oggetto, se ho ben capito della sezione) esporre dei risultati empirici su dei modelli reali di trading e poi valutarli con gli stimatori appropriati di cui siamo a conoscenza ?

Non sarebbe meglio usare un approccio bottom up ?

Varrebbe a dire che tu mi presenti dei risultati, come molti ne ha presentati il tuo interlocutore negli anni, e poi assieme validiamo o rigettiamo su questo caso concreto le ipotesi di inadeguatezza di misura o di inadeguatezza degli stimatori. Di discussioni simili a questa che vorresti introdurre temo che nessuno di noi qui presente e' alla tua altezza, con la probabile eccezione di Pgiulia.

Buon Natale

 

[Piedi a Terra]

E' perchè mai?

Tra persone educate ci si spiega..... anche più volte se serve.
Da sempre, ad educazione rispondo con educazione.

Sono altri di cui, francamente, da ormai molto tempo non sono interessato ad approfondire quello che dicono, non certo con lei.

Un cordiale saluto.

La regola universale di comunicazione che ho adottato nella comunicazione virtuale con persone che non conosco e' il tit for tat, per cui coopero o defeziono di volta in volta sulla scorta dell'informazione contenuta nell'esito della interazione precedente.

 

[Cren]

Ok, ma, oggettivamente, chi sarebbe all'altezza di poter discutere con te di argomenti come teoria della misura e teoria degli stimatori, ad eccezione di Wampyro che forse in questa sede non e' nemmeno presente?

Anche perche' tra di noi ci conosciamo bene un po' tutti e conosciamo reciprocamente i nostri limiti.
Non sarebbe meglio in un forum di trading syste (questo e' l'oggetto, se ho ben capito della sezione) esporre dei risultati empirici su dei modelli reali di trading e poi valutarli con gli stimatori appropriati di cui siamo a conoscenza ?

Non sarebbe meglio usare un approccio bottom up ?

Varrebbe a dire che tu mi presenti dei risultati, come molti ne ha presentati il tuo interlocutore negli anni, e poi assieme validiamo o rigettiamo su questo caso concreto le ipotesi di inadeguatezza di misura o di inadeguatezza degli stimatori. Di discussioni simili a questa che vorresti introdurre temo che nessuno di noi qui presente e' alla tua altezza, con la probabile eccezione di Pgiulia.

A parte rimproverarti perchè mi dai veramente troppo credito, P.A.T. (oggettivamente molto ma molto più credito di quello che un appassionato come me - e non un professionista come vampyro1 - meriterebbe ), io non ho nulla da rimproverare dal punto di vista metodologico all'approccio di Francesco, ovvero quello di provare molte strade e, cosa ancora più lodevole, mostrare pubblicamente i risultati.

L'affermazione che mi ha lasciato molto perplesso riguarda il fatto di poter effettivamente spremere denaro con continuità da un fenomeno così difficile da misurare come l'autocorrelazione, che credo sia proprio, tra tutti i fenomeni che si tenta di catturare con un modello statistico, quello più problematico e sensibile a mille fattori

Per quanto riguarda le competenze e i temi trattati, sono certo di non avere nulla in più degli interlocutori con cui ti stai intrattenendo, a parte forse un po' meno ruggine sui temi che periodicamente approfondisco