Overfitting (2 lettori)

[reef]

Di seguito, un codice AFL scritto da Howard Bandy (ma nella yahoo list ne trovate altri) che consente di filtrare i segnali in base all’Equity curve.

Buy = Buy AND Pass;
che diventa
Buy = Buy AND Ref(Pass,-1);
anche perchè secondo me capita che guardi nel futuro poichè Pass si calcola in base alla equity comprendente il trade che inizia nella stessa barra

Non necessariamente, IMHO (ender, Reef o chiunque conosca Amibroker, correggete pure se sbaglio)

Dipende da cosa c’è in ----> Automatic Analysis ---- > settings (vedi jpeg allegato)… e nel ricordarci questo l’osservazione di BMM è pertinente.

la variante col -1 secondo me è quella necessaria con delay 0 e buyprice Open, pena uno sguardo nel futuro

con delay 1 e buyprice open, o close, è ok la variante senza il ref

con delay 0 e buyprice Close invece non saprei perchè mi sfugge il modo esatto del calcolo di equity ma, almeno per me, è solo un quesito capzioso poichè non mi ricordo di aver mai trovato la necessità di usare questa configurazione

Avete già chiarito tutto

Screenshot usando il codice originale e delay=1.
Ho scelto un frame particolare, che evidenzia perchè queste postelaborazioni non mi convincono
(a proposito di overfitting...)

 

[reef]

se ho capito quindi devo aspettare un giorno per spegnere il sistema e devo aspettare un giorno per riaccenderlo. E se quando lo riaccendo ho un di nuovo un segnale di spegnimento e viceversa? Vorrei provare a metterlo in excel, optimize che significa?

Overfitting

 

[Ronzy2001]

Avete già chiarito tutto

Screenshot usando il codice originale e delay=1.
Ho scelto un frame particolare, che evidenzia perchè queste postelaborazioni non mi convincono
(a proposito di overfitting...)

Se il tuo scopo è migliorare la eq in continuo, prevedendo le fasi buone e quelle cattive certo che non ti convince.......non è possibile

 

[GiuliaP]

Nella speranza di ravvivare un pò il thread, e magari di spingere all'uso della semplice logica, torno un attimo seria e chiarisco alcuni miei punti di vista.

SECONDO ME:

La differenza sui ragionamenti di accensione/spegnimento/bilanciamento fatti da Ronzy non è nel lavorare sulle equity piuttosto che sulle "condizioni di mercato", come afferma Ender, ma il fatto di farlo out-of-sample, visto che si può facilmente lavorare in-sample anche sulle equity senza la necessità di particolari "salti cognitivi" ne di software general purpose, e visto che lavorando in-sample non avrebbe senso ragionare su tanti sistemi piuttosto che su un unico sistema omnicomprensivo.

Chiarito questo, gestire un gruppo di TS bilanciandoli quando lavorano out-of-sample può sembrare cosa buona e giusta, visto che la verifica è a mercato e quindi sarà lui stesso a giudicare se quello che sta facendo ciascun sistema è fitting oppure overfitting. Ma è solo un'illusione.

Infatti questa gestione andrà necessariamente fatta in maniera sistematica, con una procedura precisa di controllo e decisione (magari ottimizzata). Questo porterà inevitabilmente a fare altro overfitting (per intenderci quello che Bar chiama "invisibile"). Che sarà tanto maggiore quanto più alto sarà il numero di sistemi e quanto più complesse e ottimizzate saranno le regole di controllo e decisione. Questo sia muovendosi in orizzontale che in verticale, ovvero sia nello spazio che nel tempo (quest'ultima osservazione è espressa molto sinteticamente, ma è molto importante).

In pratica si costruiscono castelli di carte su castelli di carte.

Qualora si sia capito cos'è l'overfitting, non lo si banalizzi definendolo un errore generico, non lo si ritenga a prescindere irriducibile, e soprattutto non si ritenga che se ne possa fregarsene, allora le stesse logiche che possono portare a ragionare su di una gestione che eviti overfitting permettono di lavorare direttamente sui singoli sistemi, evitando complicazioni (e moltiplicazioni) inutili.

Conclusione: secondo me l'overfitting deve essere il punto di riferimento fisso di qualunque trader sistematico sia ormai in grado di evitare errori di programmazione. Se poi diverse persone riescono veramente a guadagnare ignorando completamente l'overfitting, vuol dire che le mie idee sono sbagliate (oppure che sono stati giocati dal caso, ma per ora non lo consideriamo). Ma ovviamente è una dimostrazione valida solo per le persone stesse, fintanto che non pubblicheranno i loro risultati reali. Tuttavia anche una semplice reductio ad absurdum mi spinge a non credere in questa strada, e soprattutto in chi la vuole "vendere".

 

[Ronzy2001]

Nella speranza di ravvivare un pò il thread, e magari di spingere all'uso della semplice logica, torno un attimo seria e chiarisco alcuni miei punti di vista.

SECONDO ME:

La differenza sui ragionamenti di accensione/spegnimento/bilanciamento fatti da Ronzy non è nel lavorare sulle equity piuttosto che sulle "condizioni di mercato", come afferma Ender, ma il fatto di farlo out-of-sample, visto che si può facilmente lavorare in-sample anche sulle equity senza la necessità di particolari "salti cognitivi" ne di software general purpose, e visto che lavorando in-sample non avrebbe senso ragionare su tanti sistemi piuttosto che su un unico sistema omnicomprensivo.

Chiarito questo, gestire un gruppo di TS bilanciandoli quando lavorano out-of-sample può sembrare cosa buona e giusta, visto che la verifica è a mercato e quindi sarà lui stesso a giudicare se quello che sta facendo ciascun sistema è fitting oppure overfitting. Ma è solo un'illusione.

Infatti questa gestione andrà necessariamente fatta in maniera sistematica, con una procedura precisa di controllo e decisione (magari ottimizzata). Questo porterà inevitabilmente a fare altro overfitting (per intenderci quello che Bar chiama "invisibile"). Che sarà tanto maggiore quanto più alto sarà il numero di sistemi e quanto più complesse e ottimizzate saranno le regole di controllo e decisione. Questo sia muovendosi in orizzontale che in verticale, ovvero sia nello spazio che nel tempo (quest'ultima osservazione è espressa molto sinteticamente, ma è molto importante).

In pratica si costruiscono castelli di carte su castelli di carte.

Qualora si sia capito cos'è l'overfitting, non lo si banalizzi definendolo un errore generico, non lo si ritenga a prescindere irriducibile, e soprattutto non si ritenga che se ne possa fregarsene, allora le stesse logiche che possono portare a ragionare su di una gestione che eviti overfitting permettono di lavorare direttamente sui singoli sistemi, evitando complicazioni (e moltiplicazioni) inutili.

Conclusione: secondo me l'overfitting deve essere il punto di riferimento fisso di qualunque trader sistematico sia ormai in grado di evitare errori di programmazione. Se poi diverse persone riescono veramente a guadagnare ignorando completamente l'overfitting, vuol dire che le mie idee sono sbagliate (oppure che sono stati giocati dal caso, ma per ora non lo consideriamo). Ma ovviamente è una dimostrazione valida solo per le persone stesse, fintanto che non pubblicheranno i loro risultati reali. Tuttavia anche una semplice reductio ad absurdum mi spinge a non credere in questa strada, e soprattutto in chi la vuole "vendere".

E quindi che si fa? Una volta messo un sistema a mercato lo si lascia andare in eterno fino a quando o mi brucia il conto o mi rende milionario o semplicemente senza criteri oggettivi mi dichiaro sfinito?
Io comprendo l'importanza che si da all'evitare overfitting, ma anche facendo il massimo sforzo in questo senso e riuscendoci, non mi sono garantito un sistema performante nei secoli dei secoli......o sbaglio?

Se io utilizzo un criterio di gestione sulla EQ immutato per qualsiasi sistema, ovvero senza che l'algoritmo sappia mai come quella eq è stata generata e da cosa mi dici dove è l'ovrfitting che aggiungo?

Non c'è tono provocatorio o di sfida......chiedo per capire.

 

[BMM]

per chi avesse letto il mio post che ho eliminato: in fondo la risposta non mi interessa

 

[Cren]

ma in parole molto semplici, cos'é l'overfitting? il passato?

Devi leggere la discussione dall'inizio prima di essere autorizzato a fare questa domanda

 

[BMM]

Devi leggere la discussione dall'inizio prima di essere autorizzato a fare questa domanda

Cren, così levi alla gente la voglia di dare da mangiare al troll!

 

[f4f]

grazie.
Avevo capito (strano ) anche prima....... in questo secondo caso è estremamente semplice vedere l'efficacia di un filtro sulla eq ed è anche il tipico caso di eq derivante da overfitting estremo, infatti dubito che quello che hai segnato possa essere il reale inizio del periodo out of sample
La prima che hai postato invece è più realistica e tipica di ts trend follower.

mi è piaciuto questo approccio
consiglio però questo, di Chande, che è simile ma più complesso e permette ex ante di avere una visione più completa, secondo me

Beyond technical analysis: how to develop and implement a winning trading system - Tushar S. Chande - Google Libri

pagine 317-318 e seguenti


avevo aperto un thread su questo argomento , qualche mese fa
avevo allegato anche un foglietto excel di calcoli, mi pare

 

[Cren]

Imar, una piccola riflessione: tu hai scritto, col suffragio dello studio J.P.Morgan (se sbaglio qualcosa abbi pietà, non sono andato a ricercare il tuo messaggio e quindi vado a memoria), che, nei casi in cui IV e HV divergono sensibilmente, esiste verosimilmente una ragione fondamentale per la quale accade ciò.

In particolare, poniamo di essere alla vigilia di un importante annuncio, per esempio un «QE sì, QE no» da parte di Bernanke (o l'equivalente per Draghi, il LTRO): in prossimità dell'annuncio, la domanda di Gamma e la reazione dei MM porterà verosimilmente ad un incremento di IV; viceversa, il sottostante sarà pressochè fermo in attesa, anche perchè prima dell'annuncio vero & proprio non c'è nemmeno motivo di fare Delta hedging.

Credo concordiamo sul fatto che straddle aperti prima di un annuncio importante scontino già nella IV il movimento che il mercato si aspetta di cogliere:

• stando a quanto dice GiuliaP, e io non ho motivo di dubitarne, il MM prezzerà con precisione di gran lunga maggiore di quanto possa fare un privato la probabilità di guadagno a seguito di una notizia attesa;
• anche se la stima del movimento atteso racchiusa nella IV non fosse così precisa, per semplici ragioni di avversione al rischio ritengo comunque plausibile che un eventuale errore di stima sarebbe... in eccesso. Vedasi a tal proposito che la IV è quasi sempre di poco maggiore della HV stimata con il 99% dei modelli in circolazione (cosa già detta e ridetta in merito ai costi del Delta hedging etc.).

In virtù di queste considerazioni è razionale chiedersi per quale motivo la vendita di un time spread non sia la mossa corretta da adottare presupponendo che esista una buona fetta di investitori che invece si posizione con dei già scontati long straddle (vedi la discussione con tucciotrader... scusami, tucciotrader, ti prendo solo come esempio ).

Ovvero: vendo IV già alta per i motivi già accennati (MM che prezzano e avversione al rischio) e compro Gamma.

Se la IV ha già scontato come ci aspettiamo, si muoverà al limite al ribasso o resterà a quel livello; viceversa il sottostante non può non muoversi se l'annuncio è davvero rilevante (per esempio una cessazione di questa attuale "pioggia di liquidità" potrebbe provocare forti vendite, e una sua prosecuzione forti acquisti).

Volevo sapere la tua in merito.

P.S.: se anche la vendita di time spread è scontata, io mi chiedo come contemporaneamente possa esserlo un long straddle, visto che sulla IV hanno segno opposto; naturalmente presupponendo denaro-lettera umani, altrimenti è chiaro che vale la vecchia regola del MM quando deve quotare roba ardua da prezzare