Overfitting

[GiuliaP]

le rarità sono più apprezzate della quotidianità (a saperlo prima si partirebbe avvantaggiati )

Ferma Cren prima che si imbarchi nello studio della randbetween()

C

Ma figurati se io posso fermare Cren. Ormai è diventato un uomo

Intanto devo notare che anche tu stai maturando una discreta passione per la mia gonnella

...(spero che PGiuliaP non legga, che sta volta non sopravvive )...

...(forse PGiulaPe Imar si, ma forse)...

...E tanto per dare il colpo di grazia a PGiuliaP...

Devo dire che come Cren non sono ancora certa, anche per pigrizia, se credi che una cosa che sembra funzionare debba essere usata a prescindere dal comprendere perchè funziona, oppure il contrario.

Conoscendoti accenderei la prima

Intanto, solo se interessa, sono strasicura (ma fallibile) che Imar la pensi come me: soprattutto nel trading, MAI fare qualcosa che non si è convinti di comprendere fino in fondo!

 

[cammello]

Ma figurati se io posso fermare Cren. Ormai è diventato un uomo

Intanto devo notare che anche tu stai maturando una discreta passione per la mia gonnella

aggiungine uno

C

 

[GiuliaP]

Trovato.

Cammello, questa volta mi costa un poco seguirti, quindi approfondirei, se mi consenti:

come si fa con tutti i TS ma non capisco quella faccina: mi hai dimostrato che esistono TS non guidati dal caso?

Dimostrazioni non ce ne sono, ma l'obiettivo dovrebbe essere esattamente quello di trovare TS non guidati dal caso. O mi sfugge qualcosa?

Poi preso un TS ci si divide in quelli che vogliono dare una spiegazzzzzzione stra fica (ante o post (a PGP piaceva ilpsot-mortem mi pare )), ma non mettono numeri random per verificare la robustezza ("ma come ti permetti, ho studiato n-mila paper, preso due laure e 3 master e metto numeri random?!?!?!") e quelli che "non ci credono che possa davvero funzionare" e quindi passano tempo a verificare come limitare al massimo i danni (che è sintetizzato nella mia firma).

Ancora una volta non sono sicura di capire, perdonami, ma intendi dire che un sistema deve funzionare anche con i parametri messi a caso? L'indicatore di cui parli (ma che non conosco, di AT non ne so niente) funziona così? Perchè se così fosse, credo tu abbia risolto ogni problema, dall'overfitting alla fame nel mondo! (a meno che non sia l'indicatore di per se a fare overfitting, ma tu sembri negarlo con forza, visti i forward test )

Su questo punto, penso che spesso ci sia un loop quando si dice p.es. "quando va male il sistema va flat", " ci sono le avvisaglie", "fai una media della'equity, la giri nella lavatrice, la passi colla raddrizzolina e vai tranqui".
Se il sistema "sbaglia" senza che sia previsto, prima che te ne accorgi stai già in mutande (scusate il linguaggio non all'altezza) proprio perché non è previsto che faccia quello sbaglio.
"Ma io vado in RF", no ti ci manda il sistema, che però si sbaglia e non ti da il segnale. Etc etc.
Magari più che le correlazioni tra S&P, Dax, FMOC e FNAC (appena salvata dal fallimento qui in italia) ci sarebbe da capire come pararsi da questo piccolo inconveniente che ha il brutto vizio di presentarsi nel momento meno opportuno
Con ciò non voglio dire che non possano esistere TS "robusti", ma che prima si debba affrontare la sua "scoperta" coll'idea che sia un puro caso, poi si studia come pararsi le chiappe ed infine cercare una spiegazione "logica".
Partire da quest'ultima e non verifcare se sia casuale non mi sembra il modo migliore per salvare il portafogli.

C

Su tutto questo credo di essere d'accordo. Credo!

Ma resto dell'idea che mettere numeri casuali nel tuo macinino, anche e soprattutto entro intervalli determinati, per verificarne la robustezza, non sarà mai sufficiente come test negativo (come test positivo sarà ovviamente ottimo! ). Dobbiamo pur pensare che qualche particolare vettore dei parametri potrebbe avere senso logico.

In pratica potrebbe essere una prova inutile.

 

[cammello]

Dimostrazioni non ce ne sono, ma l'obiettivo dovrebbe essere esattamente quello di trovare TS non guidati dal caso. O mi sfugge qualcosa?

quello che intendo e provo a riformulare è: come si fa a sapere se il TS è il risultato di una genialata o di un caso?

I valori parametri di un macinino alla fine sono frutto di tanto studio su paper, correlazioni, attese di FMOC e quel che vuoi (chi li fa mirati e vede che succede, chi li fitta per avere la migliore equity, and so on) e rappresentano una relazione che si spera di avere individuato.
Dati i parametri tanto faticosamente ottenuti abbiamo una equity positiva (sennò cestiniamo e via).

Secondo me, se posso sostituire i valori dei parametri con un numero random ed ottenere lo stesso una equity positiva, vuol dire che tutta l'enfasi messa su cosa rappresentano quei parametri e relazioni è nulla.
Vuol dire che nel TS c'è un qualcos altro che permette di avere il risultato, che magari non si è visto ed è invece proprio quello che fa andare avanti. Invece per qualche motivo ci si esalta per il parametro che rappresenta chissà quale bizzarra relazione, che non ha nulla a che vedere.

Se invece numeri casuali non riescono ad avere un buon risultato, allora la fatica fatta per trovare "quel" numero per "quel" parametro e relazione ha ragione di essere.

Spero che sia più chaiaro adesso
Mi sa che continueranno a morì de fame nel mondo, sorry

C

 

[GiuliaP]

quello che intendo e provo a riformulare è: come si fa a sapere se il TS è il risultato di una genialata o di un caso?

I valori parametri di un macinino alla fine sono frutto di tanto studio su paper, correlazioni, attese di FMOC e quel che vuoi (chi li fa mirati e vede che succede, chi li fitta per avere la migliore equity, and so on) e rappresentano una relazione che si spera di avere individuato.
Dati i parametri tanto faticosamente ottenuti abbiamo una equity positiva (sennò cestiniamo e via).

Secondo me, se posso sostituire i valori dei parametri con un numero random ed ottenere lo stesso una equity positiva, vuol dire che tutta l'enfasi messa su cosa rappresentano quei parametri e relazioni è nulla.
Vuol dire che nel TS c'è un qualcos altro che permette di avere il risultato, che magari non si è visto ed è invece proprio quello che fa andare avanti. Invece per qualche motivo ci si esalta per il parametro che rappresenta chissà quale bizzarra relazione, che non ha nulla a che vedere.

Se invece numeri casuali non riescono ad avere un buon risultato, allora la fatica fatta per trovare "quel" numero per "quel" parametro e relazione ha ragione di essere.

Spero che sia più chaiaro adesso
Mi sa che continueranno a morì de fame nel mondo, sorry

C

Dopo questo ultimo post ti ho riletto, mi sembra di aver capito meglio (spero), ed addirittura di essere d'accordo.

Ma a parte un importante e non trascurabile appunto sull'intervallo del randbetween che diventa una ulteriore coppia di parametri, ma sul quale sorvolo per non complicare e divagare, direi che quello che non mi torna è il tuo disaccordo con Cren.

Per cui delle due l'una: o tu e Cren non vi siete capiti, ovvero neanche Cren, oltre me, aveva interpretato correttamente il tuo pensiero, oppure insisto io a non capire.

 

[GiuliaP]

Alla luce dei nuovi chiarimenti...

...Sul "TS" se vuoi apriamo una discussione ma la mia risposta ai risultati sarà sempre e solo "è puro caso"; immagino che non lo troviate accettabile (forse PGiulaPe Imar si, ma forse), perché non da possibilità di fare vedere come si è una spanna sopra gli altri e nutrire il proprio ego; quindi partireste con sta manfrina delle supercazzole, matrici n-dimensionali, vettori, tensori, qualunc-ori, telefonate da insider con Obama e via volando ...

... devo ammettere che la mia risposta può essere SI (e credo non solo pure quella di Imar, ma anche di Cren).

Mi ha tratto in inganno il fatto che la riferissi ad un quote di Cren, e sembrava considerassi anche lui nel tuo riferirti a "voi". Se così fosse può anche darsi che tu, oppure sempre io (ma su questo mi sento più sicura), non abbia interpretato correttamente il pensiero di Cren.

Ma solo una tua conferma può rassicurarmi!

 

[cammello]

Per cui delle due l'una: o tu e Cren non vi siete capiti, ovvero neanche Cren, oltre me, aveva interpretato correttamente il tuo pensiero, oppure insisto io a non capire.

punterei più sull'ipotesi che io sia stato in grado di spiegare in modo sufficientemente chiaro quello che avevo in mente (e non so se sia riuscito adesso ). Aspettiamo Cren, sperando che non si sia offeso per la ernestata

C

 

[Cren]

...sperando che non si sia offeso per la ernestata

Ma ti pare?

 

[cammello]

Ma ti pare?

La Stampa - L’addio ai bonus che spaventa Wall Street

C

 

[Cren]

Mi sento in vena di punzecchiare GiuliaP, perchè è stata una giornata davvero pesante quando mi aspettavo invece di cazzeggiare tranquillamente sul desk con pochi trade da fare.

Quando poi i problemi più che il mercato te li danno i colleghi, la giornata è delle peggiori.

Veniamo al dunque: la scorsa settimana ho chiacchierato un po' con gli smanettoni di Cross Validated (che fondamentalmente è lo Stack Overflow di statistica e data mining).

Butto lì il mio spunto: tassi d'interesse, spread creditizi, indici di stress finanziario etc. etc., insomma non serie di prezzi dentro al modello ma grandezze finanziarie legate al monetario e al credito.

Quale modello?

Classificatore (SVM o NN, de gustibus) in finestra mobile di uno o due anni.

Cosa c'è da classificare?

Le settimane in cui la variazione assoluta (cioè senza segno) dello S&P500 è maggiore di ciò che suggeriva il VIX la settimana prima e le settimane in cui è minore.

Ora: è emerso in back test che l'accuratezza di questa scatola nera sarebbe molto alta (c.ca 80%).

Mia obiezione: sfido bene!

E' risaputo che statisticamente il VIX è quasi sempre stato maggiore della HV dello S&P500, ma questo non significa alcunchè sulla profittabilità della relazione trovata: infatti siamo ancora all'interno dell'equilibrio tra venditori & compratori, ovvero [frequenti piccole vincite | rare enormi perdite] vs. [il viceversa].

Gli spunti di riflessione da condividere sono due:

- è possibile trovare di fatto un potere esplicativo di quelle variabili su quel "label" e che al tempo stesso questo non sia indice di una tecnica profittevole (che sarebbe la mia obiezione)?

- E' tuttavia possibile che un classificatore, come appunto una NN o una SVM, riesca a cogliere dei segnali di "nervosismo" o di "tranquillità" da quelle serie storiche con una o due settimane di anticipo per poi produrre previsioni così accurate?​

(Specifico ovviamente che tutto è stato fatto senza sguardi al futuro e altre scorrettezze).