Overfitting

[Imar]

Sono curiosa di vedere il numeretto di ottobre qui:
Global Sigma Group, LLC : Global Sigma Plus - IASG

- 0.12% .... senza commenti....

Qui - se qualcuno ha abbastanza curiosità e faccia tosta - bisognerebbe presentarsi via email a Mr Rao, fingendo di rappresentare un pool di grossi investitori desiderosi di affidargli 10 mln di dollari.... previa comprensione di come faccia egli a camminare sulla acque quando tutti gli altri option writers affondano...

Scusate il leggero OT ma vorrei avvicinarmi pian piano al "think different" tanto amato da PGiulia, e da qualche parte devo pur partire.

Ho trovato un PDF di questo libro:
Algorithmic Trading and DMA: An introduction to direct access trading strategies: Barry Johnson: 9780956399205: Amazon.com: Books

...................
Visto che non riesco a studiare su un PDF ma vorrei comprarlo cartaceo, vorrei sapere se qualcuno di voi lo conosce, se me lo consiglia o se è meglio rivolgermi ad altro ?

Grazie.

Guarda, io non dovrei dire nulla perchè non ho letto il libro (e perchè penso che leggere sia sempre utile, anche quando non di immediato utilizzo) però penso che "think different" richieda - proprio come principio - di evitare concetti già scritti in un testo che - a suo tempo - ebbe comunque una discreta notorietà tra gli addetti ai lavori.

PS2 x adesso e' + virale di ebola...
Little Apple???????????? - YouTube

Vedo.... 348 .. visualizzazioni............. mi raccomando Alvin, non sbattere per caso su sister Cristina...

ciauuuuuuuuuuuuuuuuu.....

E' solo un gioco tra (macro)amici!

In ogni caso varrebbe la stessa logica ingresso/uscita di cui abbiamo parlato qualche post fa!

In effetti, a me non piace chiedere sulle strategie altrui, ma qui il punto centrale è proprio la strategia di uscita.

IMHO, il forex ha caratteristiche proprie (che fannno impazzire gli statistici ed i number crunchers che a volte trovano drift rilevanti, a volte solo randomness.... sorry, è logico che funzioni così...) che si prestano bene allo scale in ed al trading di medio/lungo.... ma sono le stesse caratteristiche che - mai come qui - fanno dire che la strategia di USCITA è fondamentale.

Per risponderti, non ho alcuna scadenza, nessuna data. Ascolto dichiarazioni e leggo minute con estrema attenzione, verifico le mie scelte precedenti, e decido in funzione.

.

Sono (piacevolemente) sorpreso e stupito PGP che studia i fondamentali .... (mi sa che non ringrazieremo mai abbastanza Conte per la segnalazione... )

Notare, non solo si informa sulle minute, ma le legge lei , non usa neanche una rete neurale..

Ma neanche in quel caso!

Esiste un solo modo per validare una strategia rispetto all'overfitting: per definizione. Ed è "andare a mercato"

Allora, qua torno serio.

Il frequentatore abituale di questo thread sa cosa intende PGP, ma dato che i .... pyrla(s) (esempio: uno a caso su tutti ) sono sempre in agguato e hanno già tratto da quanto sopra la libera (nonchè somara ) idea che qui si volesse affermare che "il backtesting non serve "... forse è bene specificare che - nel caso ottimale - andare a mercato è solo l'ultima fase di uno sviluppo di progetto, le cui INDISPENSABILI fasi precedenti sono:
1) identificazione di un supporto LOGICO alla propria idea di trading
2) conferma/smentita del backtesting storico.

Acrary (non l'ho mail letto su ELITE, se sbaglio ad interpretare quanto qui riportato da maveri, per favore correggetemi) mi pare parta dal punto 2) e duqnue - IMHO - non può essere preso troppo sul serio.
Si torna sempre al punto di partenza, come al gioco dell'oca D): se avessi un metodo per discriminare ex ante tra le varie "fasi di mercato" per diversi strumenti/time frames .... non avrei neanche bisogno di particolari trading systems...

 

[AndrewLR]

Sembra che mi sono perso tutto il divertimento sul FOL

Prima che me lo dimentico:
Andrea, scusa la riposta leggermente tardiva riguardo il discorso sul MIT vs Limit, hai mai provato a guardare a Transaction Cost Analysis? In questo caso considerei dare un'occhiata (critica ovviamente) a strategie di esecuzione sviluppate da terzi. Parlo per idea personale e non per esperienza pero' - al momento io mi limito ad usare Limit (e in simulazione assumo un fill ratio di 0)

tdazio vs PG:
Come penso sia noto, non sono del tutto d'accordo con PG su questo.

tdazio, di queste cose se ne è parlato molto nel thread, tradotto in "come (non) misurare l'overfitting", e non voglio ripetermi ancora.

Il tuo errore di fondo è che pensi di poter usare la statistica che si applica alla fisica, o più in generale a fenomeni prevalentemente deterministici, a sistemi prevalentemente intrinsecamente casuali. Ovvero trasferisci impropriamente il know how "titolato" su cui inelegantemente ti appoggi ad un campo in cui non funziona.

In particolare questo discorso non mi sembra regga, se accetti che la validazione possa venire dal real trading. Perche' se assumi che sia possibile avere un'outsample completamente vergine, allora l'outsample diventa come la validazione in real trading che proponi a parita' di fattori (e a meno di problemi di simulazione, ma questo e' in parte un altro discorso).

Quindi nell'assunzione che il real trading possa validare un metodo/ts, il problema risiede piu' nell'avere un outsample completamente vergine (a parita' di altri fattori) che nella "casualita'" dei mercati (la chiamiamo casualita', ma di casuale in se' poi hanno poco, piu' che altro sono un casino )

Per come la vedo io sono entrambi problemi da affrontare, e rendono impossibile essere sicuri di non stare overfittando in backtest e piu' difficile "validare" un sistema in real trading (specie perche' la validazione non ti dice quanto un metodo durera').
Questo pero', per me, non inficia l'uso di backtest per provare a validare un sistema..."provare" perche' non si puo' mai essere sicuri, ma facendo le cose bene si puo' ridurre la probabilita' di overfitting.

EDIT:
Sembro rientrare nei pyrlas secondo quanto detto da Imar spero non me ne vogliate.

Su acrary:
Io avevo interpretato il suo discorso come l'avere un edge che non puo' essere tradato da solo, ma che combinato con altri edges puo' fornire forme di trading "sostenibili". Insomma, di non guardare a caratteristiche come max DD/lunghezza di un DD per un edge, ma a cose come l'average trade. E poi di vedere se il sistema e' sostenibile nell'insieme. Metodo che concordo poter esser piu' prono all'overfitting. Ma forse sto estrapolando.

 

[Imar]

EDIT:
Sembro rientrare nei pyrlas secondo quanto detto da Imar spero non me ne vogliate.

Ma assolutamente no, tu sei un amico "di forum", in disaccordo su alcune questioni.

I pyrlas sono quegli "esperti da Google" che pensano che Janet Tavakoli sia consulente di FMI, FED e BCE ... un pò come pensavano che Irene Aldridge fosse il punto di riferimento per la ricerca sull'HFT, ai tempi di altra sterile polemica .

Per essere chiari, la validazione a mercato è solo di tipo "tecnico" e non bisogna sopravalutarla, nè erigerla a (nuovo) totem.

Facciamo un esempio: una strategia di pair trading tra un ETF ed i suoi principali componenti trae validazione su un piano esclusivamente LOGICO.
Se io non riesco a metterla a mercato, ciò non ha nulla a che fare con la bontà dell'idea, ma piuttosto col livello di competizione "tecnica" che incontro (per cui io non riesco ad implementarla, ma probabilmente Citadel si) e di cui non mi accorgerò mai col semplice backtesting.

 

[GiuliaP]

- 0.12% .... senza commenti....

Qui - se qualcuno ha abbastanza curiosità e faccia tosta - bisognerebbe presentarsi via email a Mr Rao, fingendo di rappresentare un pool di grossi investitori desiderosi di affidargli 10 mln di dollari.... previa comprensione di come faccia egli a camminare sulla acque quando tutti gli altri option writers affondano...

Mi ero completamente dimenticata!!!

Se mi concedete la buona fede a posteriori, avrei detto qualcosa in più, ma lì vicino. Ma se non vi fidate fate sempre meglio!!!

Comunque lo dico e lo nego, secondo me c'è di mezzo la TS dei future vix

...la strategia di USCITA è fondamentale...

La strategia di uscita è SEMPRE fondamentale, ma io generalizzerei uniformandola con quella di ingresso (che è la stessa speculare) e la chiamerei piuttosto ... strategia di "esecuzione"

Sono (piacevolemente) sorpreso e stupito PGP che studia i fondamentali .... (mi sa che non ringrazieremo mai abbastanza Conte per la segnalazione... )

Per usare parole del buon vecchio paolino, mi sento eclettica! (e un altro punto, negativo, per il Conte )

Come rimpiango paolino
Meno male che ora c'è marcolino, anche se purtroppo tecnicamente (e culturalmente) non vale neanche l'unghia del suo mignolino sinistro

Notare, non solo si informa sulle minute, ma le legge lei , non usa neanche una rete neurale..

E la mia testa cosa sarebbe?

Il frequentatore abituale di questo thread sa cosa intende PGP, ma dato che i .... pyrla(s) (esempio: uno a caso su tutti ) sono sempre in agguato e hanno già tratto da quanto sopra la libera (nonchè somara ) idea che qui si volesse affermare che "il backtesting non serve "... forse è bene specificare che - nel caso ottimale - andare a mercato è solo l'ultima fase di uno sviluppo di progetto, le cui INDISPENSABILI fasi precedenti sono:
1) identificazione di un supporto LOGICO alla propria idea di trading
2) conferma/smentita del backtesting storico.

Aggiungo che purtroppo molto spesso il backtest storico non è ricostruibile, ed in tal caso non c'è altra scelta che sporcarsi le mani (vedi inefficienza "americana").

Si torna sempre al punto di partenza, come al gioco dell'oca D): se avessi un metodo per discriminare ex ante tra le varie "fasi di mercato" per diversi strumenti/time frames .... non avrei neanche bisogno di particolari trading systems...

Sembra che mi sono perso tutto il divertimento sul FOL

Sei sempre in tempo!!!

...Quindi nell'assunzione che il real trading possa validare un metodo/ts, il problema risiede piu' nell'avere un outsample completamente vergine (a parita' di altri fattori) che nella "casualita'" dei mercati (la chiamiamo casualita', ma di casuale in se' poi hanno poco, piu' che altro sono un casino )

Per come la vedo io sono entrambi problemi da affrontare, e rendono impossibile essere sicuri di non stare overfittando in backtest e piu' difficile "validare" un sistema in real trading (specie perche' la validazione non ti dice quanto un metodo durera').

Ma infatti ho accennato poc'anzi, per i forti di stomaco, che anche la prova a mercato è soggetta ad overfitting (c'è chi ipotizza addirittura Soros e Buffett giocati dal caso, ma io non ci credo!!! )

...Questo pero', per me, non inficia l'uso di backtest per provare a validare un sistema..."provare" perche' non si puo' mai essere sicuri, ma facendo le cose bene si puo' ridurre la probabilita' di overfitting.

EDIT:
Sembro rientrare nei pyrlas secondo quanto detto da Imar spero non me ne vogliate.

E' che Imar, oltre ad anticipare il mercato, pare sia in grado di anticipare anche i post!!!

 

[cammello]

Janet Tavakoli
...Irene Aldridge

si sa che, per i maschietti, le femminucce hanno sempre maggiori qualità del reale.
Sai vero che PGP in realtà si chiama Aristide?
Cioè la storia Enresto investe, Aristide investe,.... mica è inventata

C

 

[Cren]

Sembra che mi sono perso tutto il divertimento sul FOL

Direi che piuttosto non hai speso nemmeno una virgola di commento per i suggerimenti che ti avevo dato in privato, eppure pensavo che almeno un «carino, ma non ho il tempo e/o i mezzi per farlo» lo meritassero

La strategia di uscita è SEMPRE fondamentale, ma io generalizzerei uniformandola con quella di ingresso (che è la stessa speculare) e la chiamerei piuttosto ... strategia di "esecuzione"

O, per gli amici, "Delta di un vertical spread"

...che equivale a fissare non solo stop loss parziali mano a mano che il trade va male, ma anche take profit parziali mano a mano che il trade va meglio delle aspettative...

 

[cammello]

Sei sempre in tempo!!!

ma lassà fa, che finalmente dopo centinaia di post zeppi di frescacce al grido di "io entro all in perché so con esattezza quanto vale Acme Inc mercoledì prossimo alle 14:37" si scopre che il valore può essere un po' di più oppure un po' di meno (e ovviamente ci si preoccupa solo del "un po di meno") .
Almeno qualcosa sta apprendendo.
Dubito che sappia che farci, ma tant'è; magari poi scopre che il lato "un po' di più" fa crollare i suoi castelli di carte alla stessa maniera...

C

 

[cammello]

...che equivale a fissare non solo stop loss parziali mano a mano che il trade va male, ma anche take profit parziali mano a mano che il trade va meglio delle aspettative...

vista l'ora:
"Tu cuoco, Cren, co sti caratteri da cecato "
Per penitenza vai di là e spieghi che nel mondo il valore atteso po' avere varianza non nulla.

C

 

[Cren]

vista l'ora:
"Tu cuoco, Cren, co sti caratteri da cecato "
Per penitenza vai di là e spieghi che nel mondo il valore atteso po' avere varianza non nulla.

Caro cammello, negli ultimi giorni ho letto cose al di fuori di ogni raziocinio, e ti confesso che per un attimo ho persino avuto il timore di soffrire di allucinazioni - ti farei la foto a un foglio di carta che ho qui dove c'è, inchiostro su cellulosa, l'integrale definito di una loss function generica per vedere se in termini di valore atteso su tutto l'orizzonte di un investimento uno che entra subito all-in rischia di meno di uno che entra in punti di piedi e poi si gioca una frazione sempre & comunque minore di 1 del suo capitale

Tuttavia:

1. mi è stato "caldamente suggerito" per il quieto vivere e per il mio bene di non insistere su determinate cose e lasciare ad ognuno gli spazi che implicitamente chiede;
2. ben più importante, ho riflettuto su tutto il tempo che ho perso e che perderei insistendo (ti basti vedere che per avere due risposte alle mie semplicissime domande - funzionali a comprendere un punto di vista altrui, per altro - ho dovuto scrivere quasi venti messaggi tutti identici in cui chiedevo la stessa cosa). Mi pare chiaro che l'obiettivo di quel thread non sia né quello di dimostrare una tesi né di voler ampliare le proprie conoscenze, ma solo quello di fare esercizio dialettico... e non sono gli obiettivi che mi pongo quando partecipo ad una discussione
​

Chiedo venia per i caratteri piccoli!

 

[GiuliaP]

Caro cammello, negli ultimi giorni ho letto cose al di fuori di ogni raziocinio,...

Ma quando si progettava il mitico rivoluzionario TSA, oppure quando si spiegava cos'è il VIX (e come usarlo da sfera di cristallo), come durante tutte le continue ridicole correzioni ad ogni virgola io scrivessi, TU, Cren, dov'eri???

Allora non era questione di coraggio: era che non ci arrivavi!!!

Credo ti debba delle scuse!

1. mi è stato "caldamente suggerito" per il quieto vivere e per il mio bene di non insistere su determinate cose e lasciare ad ognuno gli spazi che implicitamente chiede;

Anche a te?
Personalmente è per questo che mi si sono tolta una piccola grande soddisfazione:

https://www.youtube.com/watch?v=BfUchyUgofU

(ciao max )