Overfitting

[AndrewLR]

Ciao a tutti!

Il trading e' diventato come il campo della fisica, dove i problemi classici da risolvere sono in gran parte stati tutti risolti e quelli residui sono rimasti confinati all'immensamente grande (l'astrofisica, la teoria delle stringhe) e l'infinitamente piccolo (la meccanica dei quanti) mentre nel campo intermedio grazie al contributo della meccanica classica, la razionale, la meccanica statistica, siamo riusciti a sapere praticamente tutto dello scibile.

Il problema con quest'affermazione e' che per essere valida, dovresti:
1- essere a conoscenza di tutte le "inefficienze" su tutti i time frames e strumenti
2- essere a conoscenza delle evoluzioni di queste inefficienze, e quindi di quello che tutti gli operatori nel mondo stanno facendo.

A differenza delle leggi fisiche, quelle dei mercati sono semplicemente usi e costumi, con ancora minor validita' temporale delle leggi umane, e quindi dal lato opposto dello spettro rispetto a quello fisiche.


Detto questo, sono in parte disaccordo con Imar e in parte d'accordo con smodato e PGiulia pre-ritrattazione (se ho colto le loro posizioni correttamente):

Ahhhhhhhhhhhhhhhhhhh questa è FAN-TAS-TI-CA.

La quotiamo perchè sia evidenziata due volte (meriterebbe molto di più... ma poi qualcuno accuserrebbe di essere troppo insistente....).

Allora, ricapitoliamo, ti/vi è stato spiegato:

- come è stato sviluppato il sistema (number crunching);
- qual'è l'alpha secondo i proponenti (il fatto di essere nell'OPExp day);
- quale dovrebbe essere il VERO alpha del sistema, per poter rigettare l'ipotesi che si tratti di illusione statistica..... (chiusura dell'SP manipolata e sempre al rialzo...)


e tu te ne esci con le... le.... ABITUDINI NASCOSTE DEL MERCATO ???

Cioè, oggi è venerdì mattina... , mi alzo, faccio colazione e poi.... sai che c'è ... dato che è scadenza tecnica ....mi vendo anche un pò di futures......

Guarda, per la prima volta da quando ci conosciamo (virtualmente) penso che quanto hai scritto non meriti neanche una parola a commento.

Se uno trova un qualche ricorrenza, statisticamente schiacciante (parlo in generale, non sto dicendo che questa lo sia)...per me non e' cosi' illogico concerdersi che magari qualcosa che non capiamo stia accadendo e anche cercare di sfruttarlo (ad esempio, la spiegazione che SP sia manipolato potrebbe essere solo una di tante spiegazioni).

Capisco e concordo che sarebbe preferible sfruttare cose che si capiscono, ma non penso che sia l'unico modo possibile di operare.


E abbiamo anche questo bellimbusto a sostenere la tesi:

Jaffray Woodriff - In Photos: The 40 Highest-Earning Hedge Fund Managers - Forbes

(sebbene ovviamente c'e' sempre la possibilita' che sia una scimmia mascherata da umano seduta su una tastiera)

 

[Piedi a Terra]

Il problema con quest'affermazione e' che per essere valida, dovresti:
1- essere a conoscenza di tutte le "inefficienze" su tutti i time frames e strumenti
2- essere a conoscenza delle evoluzioni di queste inefficienze, e quindi di quello che tutti gli operatori nel mondo stanno facendo.

A differenza delle leggi fisiche, quelle dei mercati sono semplicemente usi e costumi, con ancora minor validita' temporale delle leggi umane, e quindi dal lato opposto dello spettro rispetto a quello fisiche.

============

Ok, d'accordo.
Se pero' assumiamo il vincolo della Tobin Tax, la mia frase precedente che riassumo di nuovo

Sul analisi dei dati daily esistono arataure di dati molto estese, frequenti ed articolate
Sul breve, intraday, esistono potenzialita' (senza pagare TT)
Sul lungo ci sono potenzialita' (la TT incide in forma trascurabile)


diventa valida oserei dire assiomaticamente, senza la necessita' di dimostrazioni aggiuntive che sarebbero sempre auspicabili.

Il paragone con la fisica era una metafora come molte fatte su Heisenberg, nulla di serio e spero tu non l'abbia presa come tale

===========

 

[GiuliaP]

Domanda: ma rientra o non rientra nella definizione di "overfitting" il NON andare a cercare le cause primarie del funzionamento di una strategia?

Perché a naso, un TS che lavora sulle scadenze delle opzioni, presumo che "qualcosetta" con le opzioni dovrebbe averci a che fare, e il non sapere/capire "che cosa" delle opzioni ne causa il funzionamento, non potrebbe anche impedire di accorgersi in tempo quando quel "qualcosetta" è cambiato in modo tale da far fallire la strategia in maniera spettacolare? (O se anche "spettacolare" no, comunque fallire per periodi prolungati e/o per sempre, il che equivale a perdere soldi per tutto il periodo di tempo per cui non si è ancora presa coscienza del fallimento).

Parlando tra "colleghi", direi che l'overfitting è semplicemente un effetto indesiderato della modellistica di processi a forte contenuto casuale. Conoscere direttamente la parte causale del modello oggetto di controllo aiuta immensamente ad evitarlo, ma non è che propriamente faccia parte della "definizione di overfitting".

Sul resto hai naturalmente ragione

 

[Il Conte Pedro]

Parlando tra "colleghi", direi che l'overfitting è semplicemente un effetto indesiderato della modellistica di processi a forte contenuto casuale. Conoscere direttamente la parte causale del modello oggetto di controllo aiuta immensamente ad evitarlo, ma non è che propriamente faccia parte della "definizione di overfitting".

Ok, giusto, mi è chiaro.

 

[Imar]

Capisco e concordo che sarebbe preferible sfruttare cose che si capiscono, ma non penso che sia l'unico modo possibile di operare.

Assolutamente condivisibile, anche perchè se operassimo solo sulle cose che si capiscono al 100% probabilmente..... finiremmo con avere molto tempo libero.. .

Ma qui non si stava discutendo - credo - sui possibili modi di operare bensì sugli strumenti più opportuni per identificare l'overfitting o meglio ancora - allargando un campo già molto vasto - quella che a me piace chiamare "l'illusione statistica".
Certo non con la statistica, IMHO.

Se uno trova un qualche ricorrenza, statisticamente schiacciante (parlo in generale, non sto dicendo che questa lo sia)...per me non e' cosi' illogico concerdersi che magari qualcosa che non capiamo stia accadendo e anche cercare di sfruttarlo (ad esempio, la spiegazione che SP sia manipolato potrebbe essere solo una di tante spiegazioni).

Qui invece sono meno d'accordo.
Se io trovo una ricorrenza statistica schiacciante che mi collega - per citare esempi di correlazioni realmente studiate in passato - il fenomeno delle macchie solari al ciclo economico, oppure il risultato del superbowl o la lunghezza della gonne (*) alla performance dell'indice DJIA nell'anno seguente...... NON mi occorre nessun particolare strumento per dire che il collegamento è illogico e dunque non c'è nessun bisogno di dimostrare mancanza di inferenza statistica.

(*) qui qualcuno dice che la minigonna è sintomo di ottimismo (W l'ottimismo, sempre...), e l'ottimismo è la benzina dei rialzi di Borsa.... ma converrai che si stanno arrampicando sugli specchi..

PS Woodriff è un personaggio interessante, ma userei il suo esempio con cautela, dato che nessuno sa neanche approssimativamente cosa faccia (leggenda vuole che si programmi tutto da solo... ) e perchè il suo data mining sembra produrre profitti mentre tutto il resto del mondo che utilizza metodologie apparentemente similari annaspa alla grande...

 

[Cren]

aggiungo la mia analisi dal 1990 al 2007, a quella di Cren che copre il periodo successivo.

SP-Smodato
Annualized Return 0.0154
Annualized Std Dev 0.0157
Annualized Sharpe (Rf=0%) 0.9808

il tutto senza tener conto dei costi
mi sembrano risultati vicini a quelli del report di Cren: interessante il fatto che la strategia sembra funzionare con regolarità dal 96-97 quando fu introdotto il Globex
ciao e complimenti per la competnza

E' sempre un piacere incontrare in queste lande desolate qualche utilizzatore di R, benché sotto nuove spoglie

Non sono abituato a usare R nell'intraday stretto, ti andrebbe di allegare il codice che hai usato per consentirmi un confronto?

 

[canadianlinx]

il sistema è stato scritto con tradestation poi ho esportato i risultati in R per poterli mostrare in %. non sarei capace di scrivere il sistema in R che conosco pochissimo e che sto imparando ora ad apprezzare proprio grazie ai tuoi interventi qui e su fol.
sulle mentite spoglie non so che dire: non so come dimostrare che io sono io, dnque preferisco salutarvi qui

 

[Cren]

...sulle mentite spoglie non so che dire: non so come dimostrare che io sono io, dnque preferisco salutarvi qui

Ma smettila, si scherzava

Cosa vuoi che me ne freghi di fare crociate contro il nulla o se scegli di usare un nuovo nickname per ogni messaggio?

Io ho scritto «nuove spoglie», non «mentite spoglie», e «nuove spoglie» è un'espressione che si addice ad un utente registrato da poco.

Fai quello che preferisci: partecipa, leggi, contribuisci... si valutano i contenuti, non lo scrivente.

 

[Imar]

Fai quello che preferisci: partecipa, leggi, contribuisci... si valutano i contenuti, non lo scrivente.

Sarà....(che si valutano i contenuti ), ma francamente io non ho ancora capito con chiarezza l'opinione precisa di NESSUNO dei partecipanti (quindi non parlo direttamente a te, faccio solo una riflessione a voce alta)..

Non parlo di commenti del tipo "io non lo traderei" (perchè questo dipende dalle alternative disponibili e da "gusti" individuali), ma se ritenete i risultati frutto di una illusione statistica o di un pattern reale.

Va bè, sopravviverò lo stesso ...



PS R in intraday, credo il primo problema sia l'import dei dati da un buon provider .... o no?
... se solo qualche anima pia scrivesse il codice per fargli leggere i files metastock... come è in grado di fare Matlab....

 

[Il Conte Pedro]

Sarà....(che si valutano i contenuti ), ma francamente io non ho ancora capito con chiarezza l'opinione precisa di NESSUNO dei partecipanti (quindi non parlo direttamente a te, faccio solo una riflessione a voce alta)..

Non parlo di commenti del tipo "io non lo traderei" (perchè questo dipende dalle alternative disponibili e da "gusti" individuali), ma se ritenete i risultati frutto di una illusione statistica o di un pattern reale.

Per quel che può servire il pensiero di un caprone del trading come me , dalle analisi che avete postato credo che sia un pattern reale, e che abbia (avuto?) la sua ragione intrinseca nelle opzioni.

Per cui, parlo sempre per me, mi sembra più interessante continuare a studiare le opzioni piuttosto che spendere il mio tempo a cercare pattern statistici che funzionano senza sapere perché.