Overfitting

[maveri75]

E' facilissimo!!!

E' la radice quadrata di un forward starting variance swap!!

Wilmott Forums - approximate price of variance swap from implied vols

in fondo c'è un file zip con all'interno un ben papero di jpmorgan per chi vuole approfondire

 

[smodato 2]

Qualche scienziato laveva

P.S. Sto diabolicamente progettando di sbagliare volutamente qualche accento per far intervenire ancora smodato "la vendetta"

Nemmeno Paponzi arriverebbe ad una tale affermazione a carattere preventivo!
Io leggo sempre ma quando parlate di opzioni e market maker che posso dire? E poi aspetto ancora le foto

Smodato

 

[smodato 2]

Grazie mille per la dritta
Immaginavo perchè sta sottoperformando rispetto al passato, per questo mi era venuto il dubbio.
Devo cercare un altro sistema piu sicuro per sviluppare
Mi sa che chiudo la posizione e lo metto nel sarcofago...tra 1 anno lo riesumo e vedo se ha mantenuto o si è sfracellato
Grazie ancora

In effetti il discorso dell'overfitting invisibile è più che corretto (del resto l'ha detto PGP ), ed è uno dei motivi per cui personalmente evito quasi sempre di fare test In Sample e Out Of Sample, troppo frustrante, se poi riottimizzassi l'IS saprei di stare a prendermi in giro, tanto vale testare su tutta la banca dati e giudicare criticamente le condizioni del sistema e i risultati che ne escono.
Ciao
Smodato

 

[g.l.]

...
Che nostalgia
Ma fraceschiello che fine ha fatto? Qulacuno ha notizie fresche?
...

Non saprei proprio.

 

[boob]

In effetti il discorso dell'overfitting invisibile è più che corretto (del resto l'ha detto PGP ), ed è uno dei motivi per cui personalmente evito quasi sempre di fare test In Sample e Out Of Sample, troppo frustrante, se poi riottimizzassi l'IS saprei di stare a prendermi in giro, tanto vale testare su tutta la banca dati e giudicare criticamente le condizioni del sistema e i risultati che ne escono.
Ciao
Smodato

Buonasera, grazie per la risposta.
Per me la probabilità che si verifichi un movimento è proporzionale alla probaiblità che si sia verifiato nel passato successivamente al verificarsi di un numero di condizioni. Questo deve essersi verificato un numero molto alto di volte.
Piu sempliciemnte: se si è verificata questa cosa 10 volte in 2 anni, e vedo che si è verficata 25 volte in 5 anni, allora la inserisco nel ts.
Se io metto tutto il time frame può essere che la condizione si verifichi 25 volte il primo anno (d'accordo la vedo nell'equity line), però io preferisco sviluppare su un periodo di tempo e testare ogni tanto su tutto l'arco temporale per vedere se mantiene.
Poi dipende anche da come sviluppi questa è una mia opinione personale

 

[GiuliaP]

...io preferisco sviluppare su un periodo di tempo e testare ogni tanto su tutto l'arco temporale per vedere se mantiene...

Lo fai sistematicamente, quindi alla resa dei conti è quasi la stessa cosa che cercare direttamente su tutta la serie. E' vero che esistono sfumature che, a seconda dei casi, avvantaggiano un metodo piuttosto che un altro, ma quelle sfumature vengono completamente offuscate dalla madre di tutti i problemi, la cui soluzione è la chiave di volta, il deus ex machina, il fulcro del trading sistematico (e non): l'overfitting!

Devi cambiare metodo alla radice in funzione di questo.

Ricordati che quello che stai facendo tu, per come lo stai facendo, lo fanno milioni e milioni di persone, costantemente e con continuo ricambio. E non tutti troppo stupidi. Non può essere così facile!

 

[boob]

Lo fai sistematicamente, quindi alla resa dei conti è quasi la stessa cosa che cercare direttamente su tutta la serie. E' vero che esistono sfumature che, a seconda dei casi, avvantaggiano un metodo piuttosto che un altro, ma quelle sfumature vengono completamente offuscate dalla madre di tutti i problemi, la cui soluzione è la chiave di volta, il deus ex machina, il fulcro del trading sistematico (e non): l'overfitting!

Devi cambiare metodo alla radice in funzione di questo.

Ricordati che quello che stai facendo tu, per come lo stai facendo, lo fanno milioni e milioni di persone, costantemente e con continuo ricambio. E non tutti troppo stupidi. Non può essere così facile!

Infatti è per questo che frequento poco i forum e utilizzo una statistica diversa da quella standard..ho paura di overfittarmi
E se testassi i miei TS su altri titoli di altro settore? Sarebbe overfitting?
Ho provato (non l'avevo mai fatto prima) il ts che ho sviluppato su fiat e che guadagna "x" su 5 anni (quello di cui paralavamo ieri), su ucg e guadagna 1.5x (sempre 5 anni). Questo è dovuto alla volatilità del titolo e al ts che è adattativo e utilizza statistica non parametrica.
Ho provato anche su saipem e guadagna un po meno circa 0.8x..sempre su 5 anni.
Questi test possono essere piu convincenti secondo te per la validità?
Grazie mille e buona giornata

 

[GiuliaP]

Infatti è per questo che frequento poco i forum e utilizzo una statistica diversa da quella standard..ho paura di overfittarmi
E se testassi i miei TS su altri titoli di altro settore? Sarebbe overfitting?

Certo. Tanto più quanti più sono i titoli su cui li provi.

Ho provato (non l'avevo mai fatto prima) il ts che ho sviluppato su fiat e che guadagna "x" su 5 anni (quello di cui paralavamo ieri), su ucg e guadagna 1.5x (sempre 5 anni). Questo è dovuto alla volatilità del titolo e al ts che è adattativo e utilizza statistica non parametrica.

E' possibile che il tuo sistema progettato su fiat abbia overfittato le componenti di "rumore comune" con ucg. E suppongo tu abbia estrapolato il risultato di ucg perché migliore rispetto ad altre traslazioni, facendo così overfitting su overfitting.

Oppure, come ritengo più probabile, potrebbe succedere che data la struttura adattativa del tuo sistema, quest'ultimo faccia overfitting a monte, e quindi a prescindere dalla serie su cui lo applichi. In altri termini potrebbe succedere che generi parametri distinti, ovvero ottimizzati, ovvero overfittati, su misura per ogni relativo sottostante.

Se i tuoi sistemi sono effettivamente "adattativi", e quindi enormemente overfittanti, e se il tuo ego non è abbastanza forte, dovresti arrivare relativamente presto alle mie stesse conclusioni.

Tutto questo sempre considerando che non conosco i dettagli dei tuoi sistemi e quindi vado a tentoni, e voglio fare l'avvocato del diavolo, visto che l'ho sempre ritenuto il modo migliore di aiutare (soprattutto per chi lo sa apprezzare).

A margine sarei curiosa di capire cosa intendi per statistica "non parametrica" su ts "adattativo", che di primo acchito mi sembra una contraddizione.

Ho provato anche su saipem e guadagna un po meno circa 0.8x..sempre su 5 anni.
Questi test possono essere piu convincenti secondo te per la validità?
Grazie mille e buona giornata

Direi di aver già risposto. Buna giornata anche a te

 

[boob]

No non li ho scelti per le performance ma ho provato a caso ucg e saipem perchè capisaldi di altri settori, comunque quello che dici è esatto perchè il sistema è sul mercato da 6 mesi e sottoperforma senza un motivo apparente (che è l'overfit). Quando uno fa un TS tenta di cucire un vestito sul titolo, io probabilemnte ho fatto un vestito elasticizzato.
Alla luce di queste considerazioni devo cercare un sistema di sviluppo piu solido che cerchi di circoscrivere questo problema. Potrebbe essere la semplicità la chiave di tutto? Devo chiudermi nello stanzino e pensare...
Come statistica non parametrica intendo che nessuno dei miei indicatori ha parametri o periodi in input (cioè non si possono tarare), ma si tarano da soli: hanno una adattatività implicita dettata da volatilità o calcoli sui volumi di scambio o simili...( dovrò ripensare anche a come costruire questi ovviamente..)

 

[GiuliaP]

No non li ho scelti per le performance ma ho provato a caso ucg e saipem perchè capisaldi di altri settori, comunque quello che dici è esatto perchè il sistema è sul mercato da 6 mesi e sottoperforma senza un motivo apparente (che è l'overfit). Quando uno fa un TS tenta di cucire un vestito sul titolo, io probabilemnte ho fatto un vestito elasticizzato.

La metafora mi sembra efficace!

Ed alla fin fine la verifica del mercato parla chiaro. Per fortuna nella maggioranza dei casi il mercato ci mette ben poco a farti capire che stai sbagliando. Quando sei disposto a capirlo.

Alla luce di queste considerazioni devo cercare un sistema di sviluppo piu solido che cerchi di circoscrivere questo problema. Potrebbe essere la semplicità la chiave di tutto? Devo chiudermi nello stanzino e pensare...

La semplicità, l'adattamento alla propria psicologia, e tutte le altre popolari "chiavi del successo" che ora non mi vengono in mente, sono tutte trappole per polli.

Non può essere così facile!

Se vuoi avere "veramente" successo in questo mestiere, non c'è alcuna scelta: devi completamente uscire dagli schemi.

Come statistica non parametrica intendo che nessuno dei miei indicatori ha parametri o periodi in input (cioè non si possono tarare), ma si tarano da soli: hanno una adattatività implicita dettata da volatilità o calcoli sui volumi di scambio o simili...( dovrò ripensare anche a come costruire questi ovviamente..)

Ed all'atto pratico cosa tarano da soli? Ed in quali margini?

P.S. Foto inviate!!! "Scusate il ritardo"