Overfitting

[AndrewLR]

Perfetto in ogni virgola

Per me non ci siamo proprio, ma sarei curioso di sentire anche l'opinione di altri.

PS: di la' si e' arrivati ai NN :mago:

 

[GiuliaP]

Per me non ci siamo proprio, ma sarei curioso di sentire anche l'opinione di altri...

Tutta invidia!!!

...PS: di la' si e' arrivati ai NN :mago:

Riflettendo può essere che sia meglio partire direttamente da li per arrivare a capire veramente ed in tempo utile l'articolo postato da skew!!!

 

[Cren]

Riflettendo può essere che sia meglio partire direttamente da li per arrivare a capire veramente ed in tempo utile l'articolo postato da skew!!!

Preciso che il mio interesse per le NN è puramente didattico, nel senso che vorrei semplicemente approfondirne il funzionamento (e soprattutto il dimensionamento insieme con gli algoritmi di addestramento più famosi), e che parto già dall'idea che non possano spremere sangue dalle rape - soprattutto in finanza.

 

[GiuliaP]

Preciso che il mio interesse per le NN è puramente didattico, nel senso che vorrei semplicemente approfondirne il funzionamento (e soprattutto il dimensionamento insieme con gli algoritmi di addestramento più famosi), e che parto già dall'idea che non possano spremere sangue dalle rape - soprattutto in finanza.

Benissimo!

Un consiglio :

...sicuramente esistono delle relazioni particolari che rendono superfluo fissare tutto in modo arbitrario e consentono di semplificare la struttura della rete... (cit. Cren)

Aggiungerei "relazioni assolutamente dipendenti dallo scopo ultimo della rete", ed a "superfluo" sostituirei addirittura "controproducente".

 

[Il Conte Pedro]

Benissimo!

Un consiglio :

...sicuramente esistono delle relazioni particolari che rendono superfluo fissare tutto in modo arbitrario e consentono di semplificare la struttura della rete... (cit. Cren)

Aggiungerei "relazioni assolutamente dipendenti dallo scopo ultimo della rete", ed a "superfluo" sostituirei addirittura "controproducente".

Mi permetto di aggiungere, a completamento, che il nostro è un mondo sporco (e Cren lo ha ben visto proprio in questo periodo, anche se non coinvolto direttamente), e prima che la NN abbia capito cosa fare, bye bye, le porcate sono finite e la rete nel frattempo ha preso solo sonori schiaffi...

Se al posto della rete ci metti invece i neuroni di un trader che cerca di capire le dinamiche delle porcate (NON dai prezzi, o meglio, cercando nei prezzi la conferma di aver capito le dinamiche reali), a quel punto hai una speranza (ovviamente non la certezza) di prendere meno schiaffi e magari darne anche qualcuno. Però a quel punto la NN non ti serve più perché vanno meglio strumenti più "specifici".

 

[Imar]

Per me non ci siamo proprio, ma sarei curioso di sentire anche l'opinione di altri.

Ah beh, la mia personalissima opinione la conoscete, ne abbiamo parlato di là non più di una settimana fà:

E` mai stato tentato? - Pagina 78 - Forum di Finanzaonline.com


ed aggiungerei anche, me lo permetto per il minimo di confidenza che abbiamo, che si può anche non essere d'accordo , ma allora... IMHO in questo thread si è nel posto sbagliato .

Poi è chiaro che nella pratica esiste una zona grigia - come ho scritto di là - ma questa non deve inquinare l'aspetto per così dire "epistemologico" della ricerca di profittevoli metodi di trading.


PER ME (e sottolineo PER ME) molta parte di questo thread esprime i concetti GENERALI dell'articolo citato, (non mi importa niente della parte in cui parla dei mercati valutari e del debito, nè quella in cui smonta la "previsione" valida all'89%), ed in particolare:

It is trivially easy to come up with false relationships based on simplistic or agenda-driven data mining. Say, for example, the International Kale Growers Association came out with a study showing that people who eat kale tend to have lower body fat and better cholesterol. Even if the numbers are valid, one would have to ask: Are those good results attributable to kale? Or are they attributable to the fact that the kind of person who eats kale in the first place is much more likely, statistically speaking, to exercise and lead a consciously healthy lifestyle? Even if the numbers add up, what are the core driving factors that PRODUCED the numbers? Without contextual understanding we simply don't know, and that is the point.

If you don't use common sense, it is way too easy to get fooled by spurious or invalid data patterns. Imagine a quantitative value investor who determined that, based on studies of Warren Buffett's most successful investments, the ideal age range for a company CEO was between 46 and 59 years old. Imagine if this quantitative value investor then made capital allocation decisions based on this criterion. On one level "it's in the data" - he may have done a study and come up with eighteen samples, just like in the piece we are criticizing. But just because it is "in the data" doesn't mean the relationship is relevant. It doesn't mean a tight band of CEO age range, or a tight band of compressed S&P volatility, is the factor that really mattered in respect to producing the collection of positive outcomes observed. It could have just been a random quirk (a conclusion that basic logic would support, in the absence of a plausible hypothesis). If you don't have underlying knowledge of the "what" behind cause-effect relationships…and if you lack the intellectual discipline to do a "why" logic-check behind your assumptions…then you are prone to getting bamboozled.

............ The only way to avoid getting fooled by spurious data or superficial thinking is to put real elbow grease into truly understanding what drives markets and why…and once you have that understanding you don't need to cherry pick or data mine because you have something better

ed essi sono "solo" un articolazione più analitica della impeccabile (e seria risposta) Di CREN ad n LV in gran forma, il quale si chiede in modo leggerissimamente D) IRONICO come mai in questo thread non si sia parlato del ..............Reality Check di White .... o del step-wise di Wolf Romano ... o di altre diavolerie del genere.


Il punto è sempre lo stesso; prendi Jaffray Woodriff, da ormai 5 anni ha performance questionabili:
Program Performance
e purtroppo - dato che i suoi modelli derivano dichiaratamente da data mining sfrenato - le domande che sorgono (esempio: gli ultimi anni sono un periodo sfortunato... o erano gli anni precedenti ad essere casualmente molto fortunati...) non possono avere nessuna risposta DECENTE, dato che senza sapere perchè negli anni passati i suoi modelli di trading funzionavano...... non si può neanche capire perchè da 5 anni non funzionano più....




PS cambiando argomento, avete visto l'exposure fee di IB che è di applicazione discrezionale da parte del broker, cioè al cliente non è dato sapere quali sono i parametri che la regolano, finchè non li ha superati??

 

[Il Conte Pedro]

PS cambiando argomento, avete visto l'exposure fee di IB che è di applicazione discrezionale da parte del broker, cioè al cliente non è dato sapere quali sono i parametri che la regolano, finchè non li ha superati??

IB has found that short positions in low-priced options generate the largest exposures relative to capital.

Per la serie: se shorti opzioni DOTM, affaracci tuoi, io intanto ti applico la fee...

 

[GiuliaP]

...ed essi sono "solo" un articolazione più analitica della impeccabile (e seria risposta) Di CREN ad n LV in gran forma, il quale si chiede in modo leggerissimamente D) IRONICO come mai in questo thread non si sia parlato del ..............Reality Check di White .... o del step-wise di Wolf Romano ... o di altre diavolerie del genere...

Se ricordo bene stai parlando di Bar Rafaeli, l'inventore dell'"overfitting invisibile"

Leggendo i post che hai fotografato mi viene ancora da sorridere .
E' come se un fisico teorico mi dicesse che ha trovato un "modello" per validare le sue "teorie" senza passare per la sperimentazione empirica E volesse buttare a mare l'LHC

Oltre al discorso formale che nessun sistema può validare se stesso, originariamente portato avanti proprio da me e Daneel (che poi sarei sempre io ), basta fare il solito facilissimo ragionamento per assurdo per rendersi conto dall'inconsistenza totale della logica di fondo: se esistesse un modello econometrico in grado di misurare l'overfitting a priori, quel modello sarebbe in grado direttamente di fare previsioni evitandolo a monte!

PS cambiando argomento, avete visto l'exposure fee di IB che è di applicazione discrezionale da parte del broker, cioè al cliente non è dato sapere quali sono i parametri che la regolano, finchè non li ha superati??

Ottimo direi!!! Ed io sarei addirittura più severa, agendo anche sui margini.

Vedo che Il Conte Pedro ha anticipato esattamente quello che avrei linkato io!!!

Chi vende opzioni DOTM nude (edit: o mal coperte) e margina quasi tutto il capitale, soprattutto se quest'ultimo è significativo, mette a rischio il broker.

E la discrezionalità è necessaria in funzione dell'inefficienza, purtroppo molto difficilmente evitabile, del portfolio margin in determinati contesti.

Del resto IB ha da tempo questa politica: le carrying fee sono proporzionate alla percentuale di margini sul capitale.

 

[AndrewLR]

Ah beh, la mia personalissima opinione la conoscete, ne abbiamo parlato di là non più di una settimana fà:

E` mai stato tentato? - Pagina 78 - Forum di Finanzaonline.com


ed aggiungerei anche, me lo permetto per il minimo di confidenza che abbiamo, che si può anche non essere d'accordo , ma allora... IMHO in questo thread si è nel posto sbagliato .

Poi è chiaro che nella pratica esiste una zona grigia - come ho scritto di là - ma questa non deve inquinare l'aspetto per così dire "epistemologico" della ricerca di profittevoli metodi di trading.


PER ME (e sottolineo PER ME) molta parte di questo thread esprime i concetti GENERALI dell'articolo citato, (non mi importa niente della parte in cui parla dei mercati valutari e del debito, nè quella in cui smonta la "previsione" valida all'89%), ed in particolare:



ed essi sono "solo" un articolazione più analitica della impeccabile (e seria risposta) Di CREN ad n LV in gran forma, il quale si chiede in modo leggerissimamente D) IRONICO come mai in questo thread non si sia parlato del ..............Reality Check di White .... o del step-wise di Wolf Romano ... o di altre diavolerie del genere.

Non so se non mi son spiegato bene.

Non posso che concordare quando il tipo scrive:

It is trivially easy to come up with false relationships based on simplistic or agenda-driven data mining.

But just because it is "in the data" doesn't mean the relationship is relevant.

e anche

If you don't use common sense, it is way too easy to get fooled by spurious or invalid data patterns.

Quello che personalmente rigetto pero' e' il dire che nessuna ricerca guidata dal data-mining possa avere alcun valore. Ovvio che si debba applicare buon senso nell'impostare il tutto, e che alla fine l'esito della ricerca dipendera' da questo.

(e se considerate come esempi di ricerca data-driven quello che leggete sul 95% di forum/blogs/libri/papers allora stiamo parlando di cose diverse(senza offesa per nessuno) )

Il punto è sempre lo stesso; prendi Jaffray Woodriff, da ormai 5 anni ha performance questionabili:
Program Performance

Riguardo QIM, una possibile spiegazione e' data dalla crescita eccessiva dell'AUM:
Quantitative Investment Management : Quantitative Global Program - IASG

Nuclear Phynance

(post di FDAXHunter)

e purtroppo - dato che i suoi modelli derivano dichiaratamente da data mining sfrenato - le domande che sorgono (esempio: gli ultimi anni sono un periodo sfortunato... o erano gli anni precedenti ad essere casualmente molto fortunati...)

Penserei che in totale i risultati (che come sai sono anche al netto di fees) richiederebbero troppe scimmie per essere casuali, ma in effetti non ho fatto calcoli al riguardo.

non possono avere nessuna risposta DECENTE, dato che senza sapere perchè negli anni passati i suoi modelli di trading funzionavano...... non si può neanche capire perchè da 5 anni non funzionano più....

Non posso che concordare su questo, pero' gli do meno peso perche' anche per molte "inefficienze" di cui si pensa di capirne le cause alla fine si puo' non capire/sapere che sta succedendo.

Il che implica non sapere se sia sparita, il perche' sia sparita o il quando e se tornera' a funzionare. Semplicemente perche' ci possono essere troppi fattori in campo. Ovviamente il tutto dipende dal gioco che uno fa nello specifico, ma e' appunto sulla generalizzazione ("capire"-> buono, non "capire" -> male) che non concordo.

Risultati empirici possono anche trovare spiegazioni logiche a posteriori, o comunque le due cose possono andare di pari passo. E fra l'altro e' cosi' che la fisica e' andata avanti, osservando fenomeni, costruendoci leggi sopra che li descrivano (e quindi dato il campo "prevedano") e poi cercando una spiegazione al perche'.

E prima che una PG a caso mi salti alla gola: e' vero che la fisica ha il "piccolo" vantaggio che gli esperimenti sono ripetibili nelle stesse identiche condizioni, mentre nei mercati una qualche cosa non succede quasi mai allo stesso modo e coninua a succedere fino a quando non succede piu'.
Ma finche' continua a "succedere" si puo' sfruttarla anche senza "capirla".

Certo, e' piu' difficile sapere che "succede" se non la si capisce, ma alla fine stiamo parlando di attribuire un potere previsionale ad un certo set di features, o via logica umana o via inferenza statistica.
Gli svantaggi del secondo caso (date le differenza fisica-mercati evidenziate sopra) sono che serve una grossa eccedenza di evidenza e robustezza, e che se uno non "capisce" il fenomeno si sara' piu' lenti a cambi di dinamiche.

Solo non vedo un taglio netto del tipo capisco/non capisco il meccanismo, ma (a secondo di quello che si fa) diverse sfumature di possibile comprensione e conseguenti possibili vantaggi/svantaggi .

Vi faccio un esempio:
immaginate che attraverso data-mining scoprite che da 20 anni ogni lunedi' alle 10 c'e' un balzo di un paio ticks in un certo strumento X. Non avete idea del perche' succede, ovviamente potete costruire delle ipotesi a posteriori e anche cercare di verificarle.
La stessa inefficienza potrebbe essere stata scoperta sapendo (non indaghiamo sul come ) che un certo fondo ogni lunedi' alle 10 compra un bel malloppo di X.
In entrambi i casi potete sfruttare la cosa finche' dura, con il vantaggio nel secondo caso di poter meglio investigare se la situazione e' cambiata - ma a seconda di come e' cambiata, questo puo' non fare nessuna differenza. Il vantaggio di usare un approccio di data-mining e' che consente piu' facilmente di scalare l'analisi a diversi mercati.

Poi in quest'esempio comprensione e data-mining possono anche andare un po' a braccetto e portare a fare una ricerca un po' piu' guidata. Ma appunto, non vedo la chiara distinzione che vedete voi (ripeto, a meno che la vostra non sia semplicemente una reazione allergica a"TS" da forum )

 

[GiuliaP]

...Quello che personalmente rigetto pero' e' il dire che nessuna ricerca guidata dal data-mining possa avere alcun valore...

Questo credo non l'abbia detto mai nessuno.

...Risultati empirici possono anche trovare spiegazioni logiche a posteriori, o comunque le due cose possono andare di pari passo. E fra l'altro e' cosi' che la fisica e' andata avanti, osservando fenomeni, costruendoci leggi sopra che li descrivano (e quindi dato il campo "prevedano") e poi cercando una spiegazione al perche'...

Quando la finirete di paragonare sempre mele con pere?
Ora di nuovo con la sperimentazione fisica!
Se avessi pazienza ripeterei per l'ennesima volta le stesse discussioni su causalità e casualità, e su come i paragoni tra mele e pere servano solo a convincere se stessi. Ma purtroppo non ne ho

...E prima che una PG a caso mi salti alla gola: e' vero che la fisica ha il "piccolo" vantaggio che gli esperimenti sono ripetibili nelle stesse identiche condizioni, mentre nei mercati una qualche cosa non succede quasi mai allo stesso modo e coninua a succedere fino a quando non succede piu'...

Ma cosa c'entra!!!
La fisica non è in grado di comprendere (almeno per ora) la meccanica della mente. Cercare di farlo con il "data mining" è semplicemente ridicolo. Secondo me!!!!

...Ma finche' continua a "succedere" si puo' sfruttarla anche senza "capirla"...

Questo è il sogno di ogni astrologo che si rispetti. Salvo poi comprendere che giocare con cose che non si capiscono non è propriamente una filosofia generale molto intelligente.

...Certo, e' piu' difficile sapere che "succede" se non la si capisce, ma alla fine stiamo parlando di attribuire un potere previsionale ad un certo set di features, o via logica umana o via inferenza statistica...

In ogni caso questo assomiglia molto ai dibattiti sulla religione. Non possono esserci prove certe di nessuna tesi, ma solo logiche deduzioni

...Vi faccio un esempio:
immaginate che attraverso data-mining scoprite che da 20 anni ogni lunedi' alle 10 c'e' un balzo di un paio ticks in un certo strumento X. Non avete idea del perche' succede, ovviamente potete costruire delle ipotesi a posteriori e anche cercare di verificarle...

Il problema enorme è che il tuo esempio è puramente teorico! Soprattutto oggi come oggi!
Sarebbe come dire: facciamo l'esempio del miracolo di Lourdes o di Medjugorje ...

...Il vantaggio di usare un approccio di data-mining e' che consente piu' facilmente di scalare l'analisi a diversi mercati...

Perché? Con altri approcci non si può fare?

Il vero vantaggio (svantaggio) di usare questo approccio è che ti puoi illudere anche per tutta la vita senza capire che stai facendo oroscopi