Overfitting

[Imar]

Fiuuu :vicini:
Cerchiamo di preservare quest'isola felice...

Si, preserviamo pure.... ma vi dispiace se domando: sono io l'unico che considera gi ultimi messaggi inutili sbrodolate.... in cui non solo non ci sono risposte..... ma neppure le domande giuste???

Qui il problema (spero, credo).... non è come si testa ma come si controlla (SE si controlla) la reproducibilità dei risultati di un backtest nel futuro... non è questione di non lanciare sedute di ottimizzazione che tengono occupato il pc tutta la notte che - almeno su questo - penso si sia tutti d'accordo.

O sbaglio?

Benvenuto, Andrea
.. e lì quei modelli così inversamente proporzionali al capital gain pagato apparentemente stanno come una media mobile sul S&P500 al DAX

Questa è da nomination per l'oscar .... anche se credo quasi nessuno coglierà che dietro la sottile ironia sottolinea due tipiche malattie da forum:

-criticare argomenti solo perchè non li si capisce a fondo (non ricordo grosse discussioni sul Garch, ma a me pare di tutta evidenza che tutte le sue innumerevoli varianti lambiscono pericolosamente l'overfitting.... e dunque l'argomento è prefettamente in topic, anzi molto più in topic di tante altre considerazioni lette qui);

- preoccuparsi molto dei "tituli" acquisiti dagli interlocutori, invece che della coerenza logica delle argomentazioni.

Così è.... se vi pare

 

[GiuliaP]

Si, preserviamo pure.... ma vi dispiace se domando: sono io l'unico che considera gi ultimi messaggi inutili sbrodolate.... in cui non solo non ci sono risposte..... ma neppure le domande giuste???

Il 90% del thread è solo brodo, ma a me personalmente, come sempre detto, così piace (soprattutto visto che la maggior parte del brodo è mio ).

Sempre personalmente ritengo di aver avuto, dopo anni e anni di sofferenti attese e inutili mie minacce, le risposte che cercavo da smodato: sicuramente non esaustive, ma sufficienti a consentirmi di farmi un'idea relativamente precisa del suo approccio all'overfitting. E so molto bene che più di tanto non gli posso chiedere. Del resto avrei un'altra questione da porgli e non voglio stancarlo troppo velocemente

Capisco che tu voglia risposte a tue specifiche domande e/o a domande che ritieni senza risposta, ma se devi passare per quello che ho passato io, ti consiglio di metterti l'anima in pace (in un senso o nell'altro!) E purtroppo vale sempre il detto "domandare è lecito, rispondere è cortesia"

Qui il problema (spero, credo).... non è come si testa ma come si controlla (SE si controlla) la reproducibilità dei risultati di un backtest nel futuro... non è questione di non lanciare sedute di ottimizzazione che tengono occupato il pc tutta la notte che - almeno su questo - penso si sia tutti d'accordo.

O sbaglio?

Ma no che non sbagli. Solo che io le risposte, per quanto chiedibili, le vedo. Poi starà come sempre al giudizio soggettivo stabilire se piacciono o meno, ovvero se siano o no metodi efficaci.

 

[Imar]

Sempre personalmente ritengo di aver avuto, dopo anni e anni di sofferenti attese e inutili mie minacce, le risposte che cercavo da smodato: sicuramente non esaustive, ma sufficienti a consentirmi di farmi un'idea relativamente precisa del suo approccio all'overfitting. E so molto bene che più di tanto non gli posso chiedere. Del resto avrei un'altra questione da porgli e non voglio stancarlo troppo velocemente

Capisco che tu voglia risposte a tue specifiche domande e/o a domande che ritieni senza risposta, ma se devi passare per quello che ho passato io, ti consiglio di metterti l'anima in pace (in un senso o nell'altro!) E purtroppo vale sempre il detto "domandare è lecito, rispondere è cortesia"

Per la verità io non voglio niente, nè da te nè da altri (*), se non sottolineare che se un nick sconosciuto fosse venuto qui a scrivere le cose che ha detto smodato sarebbe stato trattato diversamente D).

Siamo un pò tutti vittime dei bias da forum .


(*) pensa ho persino l'illusione di aver esposto - qui e altrove - il mio tentativo di risposta al quesito che ho posto...

 

[smodato 2]

Qui il problema (spero, credo).... non è come si testa ma come si controlla (SE si controlla) la reproducibilità dei risultati di un backtest nel futuro... non è questione di non lanciare sedute di ottimizzazione che tengono occupato il pc tutta la notte che - almeno su questo - penso si sia tutti d'accordo.

O sbaglio?

A mio avviso sono strettamente legate, nel senso che il come testo dipende da come ho visto/vissuto le risposte sul campo ad approcci di test passati, chi mi parla di reti neurali o simili credo che il PC lo tenga impegnato abbastanza.

-criticare argomenti solo perchè non li si capisce a fondo (non ricordo grosse discussioni sul Garch, ma a me pare di tutta evidenza che tutte le sue innumerevoli varianti lambiscono pericolosamente l'overfitting.... e dunque l'argomento è prefettamente in topic, anzi molto più in topic di tante altre considerazioni lette qui);

- preoccuparsi molto dei "tituli" acquisiti dagli interlocutori, invece che della coerenza logica delle argomentazioni.

Così è.... se vi pare

Visto che ho storto il naso sul Garch potrebbe essere rivolta al sottoscritto.
Ho volutamente citato il Garch perchè lo vedo girare spesso e volentieri in thread dove tutti si atteggiano a fini econometrici, non mi rivolgevo nello specifico al contenuto di questo thread anche se è comparso e ne temevo il ritorno , il parlare accademico a mio avviso serve a riempirsi la bocca almeno fino al momento in cui non mi venga dimostrato che il risultato sia applicabile sul campo, a suo tempo criticai il famoso risk free tanto spesso tirato in ballo ma che poi non mi pare sia tanto facilmente acquisabile (infatti non mi è stato spiegato esattamente come fare).
Se anche i "tituli" era per me necessita di una spiegazione più terra-terra che così non mi è chiarissimo

 

[Il Conte Pedro]

P.S. Un abbraccio al Conte, che mi costa parecchi euro, ma fornisce un servizio eccellente!!!

EDIT: forse ho capito: costa euro il tempo speso a replicare alle baggianate del Conte
Ma tanto esiste sempre il pilota automatico, no?

 

[Cren]

Ho volutamente citato il Garch perchè lo vedo girare spesso e volentieri in thread dove tutti si atteggiano a fini econometrici, non mi rivolgevo nello specifico al contenuto di questo thread anche se è comparso e ne temevo il ritorno , il parlare accademico a mio avviso serve a riempirsi la bocca almeno fino al momento in cui non mi venga dimostrato che il risultato sia applicabile sul campo...

C'è un qui pro quo: quei modelli di cui parli e il cui ritorno ti terrorizza non sono trading system, nascono solo come tentativo di misurare e - con enormi limiti - prevedere una forma di rischio sui mercati finanziari.

Poi eventualmente si possono usare anche come filtro, ma è un altro discorso.

Tu non te la stai prendendo col modello, te la stai prendendo col fatto che nessuno è saltato su dicendo «compra quando il GARCH(1,1)... vendi quando il GARCH(1,1)...» per fare soldi.

Il risultato è applicabile sul campo nel senso che puoi usare il modello; ma se con «applicabile sul campo» intendi «formula magica per farci dei soldi» allora dovremmo probabilmente chiudere i forum di finanza

 

[GiuliaP]

Per la verità io non voglio niente, nè da te nè da altri (*), se non sottolineare che se un nick sconosciuto fosse venuto qui a scrivere le cose che ha detto smodato sarebbe stato trattato diversamente D).

Siamo un pò tutti vittime dei bias da forum .

Se non ti riferisci a me puoi risparmiarti la lettura di questo post

Io personalmente ero convinta di avere il bias opposto, ovvero di essere prevenuta verso i venditori (soprattutto se titolati).

Credo di aver dimostrato nel tempo che se leggo qualche fesseria tecnica, chiunque la possa scrivere, non mi faccio alcun problema a sottolinearla. Quand'anche fosse il mio amico re di Spagna (non leggerla come un attacco personale: del resto non è detto che quella che io ritengo sia una fesseria lo sia veramente).

E' che con smodato, per quanto non mi fidi, per quanto non condivida affatto le sue motivazioni e/o le sue logiche su vendita di segnali e corsi (inutile parlarne ancora in pubblico, abbiamo detto praticamente già tutto), non ho mai trovato in quello che dice incongruenze tecniche o assurdità operative. Ovviamente per quella che è la mia limitata conoscenza ed esperienza.

E' vero che i tre campionati mondiali consecutivamente vinti da smodato possono essere stati oggetto di ... workaraunds D), ma io conosco smodato anche da prima di quei titoli. Da quando parlava di CW. E non gli ho mai sentito dire cose del tipo, tanto per fare l'ultimo esempio, come ricostruire il vix sintetico dal 1928. Ne conosco i suoi corsi, pur riconoscendo (sempre e solo a titolo personale) che il suo libro è ben fatto ed ha contenuti validi.

Se poi da un lato mi si dice che sono "rompiscatole bastian contrario", e dall'altro che faccio favoritismi per i titoli o per amicizia, questo non può che farmi pensare che un minimo di equilibrio io lo possegga

E' vero che i bias ce li abbiamo tutti, primi quelli che dicono di non averne

 

[Imar]

Visto che ho storto il naso sul Garch potrebbe essere rivolta al sottoscritto.
Ho volutamente citato il Garch perchè lo vedo girare spesso e volentieri in thread dove tutti si atteggiano a fini econometrici, non mi rivolgevo nello specifico al contenuto di questo thread anche se è comparso e ne temevo il ritorno , il parlare accademico a mio avviso serve a riempirsi la bocca almeno fino al momento in cui non mi venga dimostrato che il risultato sia applicabile sul campo, a suo tempo criticai il famoso risk free tanto spesso tirato in ballo ma che poi non mi pare sia tanto facilmente acquisabile (infatti non mi è stato spiegato esattamente come fare).
Se anche i "tituli" era per me necessita di una spiegazione più terra-terra che così non mi è chiarissimo

Cerco di essere più chiaro: nei tuoi messaggi qui tu non hai affrontato neanche da lontano un miglio il problema dell'overfitting.

Hai esposto alcuni linee generali che usi nello sviluppo dei tuoi TS, che - per quanto sensate - non hanno niente a che vedere col problema del "grado di replicabilità dei risultati storici nel futuro".

PGP ovviamente lo sa bene, ma ti ha riservato un trattamento di "favore" , discutendo sulle risposte invece che mettere in evidenza che "mancavano le domande" .

Tutto questo ovviamente nella mia personalissima opinione, adesso mi taccio, così se vi piace potete tornare sui vostri discorsi che ho maldestramente interrotto.


PS sul Garch abbiamo evidenziato più volte la frase di Willmott che sottolinea come sia un argomento particolarmente amato dagli accademici nonostante allo stato attuale gli sviluppi ulteriori siano più che altro teorici mentre su altri aspetti più "pratici" (tipo - cita sempre Willmott - i modelli di frequenza del delta hedging) i papers pubblicati sono molto scarsi.
Quindi siamo esattamnete d'accordo.
Rivendichamo solo il diritto di poterne parlare senza venga qualcuno a farci notare che non abbiamo vinto 3 volte la Robbins.... tutto qui.

 

[GiuliaP]

Cerco di essere più chiaro: nei tuoi messaggi qui tu non hai affrontato neanche da lontano un miglio il problema dell'overfitting.

Hai esposto alcuni linee generali che usi nello sviluppo dei tuoi TS, che - per quanto sensate - non hanno niente a che vedere col problema del "grado di replicabilità dei risultati storici nel futuro".

PGP ovviamente lo sa bene, ma ti ha riservato un trattamento di "favore" , discutendo sulle risposte invece che mettere in evidenza che "mancavano le domande" .

Credo ci sia stato un fraintendimento sulla mia domanda: io volevo semplicemente sapere come interpretava l'overfitting, se lo affrontava direttamente, ed eventualmente in che modo. Ho avuto le risposte che volevo, ed ho anche commentato a riguardo (con successiva conferma).

Se poi si chiede la soluzione all'overfitting, ovvero la gallina dalle uova d'oro, sarò sempre l'ultima a chiederla su un forum (o fuori), e l'ultima ad aspettarmela

 

[Imar]

E' che con smodato, per quanto non mi fidi, per quanto non condivida affatto le sue motivazioni e/o le sue logiche su vendita di segnali e corsi (inutile parlarne ancora in pubblico, abbiamo detto praticamente già tutto), non ho mai trovato in quello che dice incongruenze tecniche o assurdità operative.

Ottimo, prendo atto che sistemi che considerano di operare solo in determinati giorni della settimana (come quello pubblicato su FOL e relativo al DAX un poco di tempo fà - chiedo scusa ma non ho voglia di ritrovare il post - ) per te non sono "incongrenze tecniche o assurdità operative" .... e magari neanche overfitting

Basta saperlo e chiarirsi.... it's all right.

PS io conosco Smodato (virtualmente) dai tempi di FC finanza, e si è sempre posto in maniera seria e sensata.
Qui non discutiamo la persona, ma (eventualmente) di tecniche operative ed affini.