Overfitting

[Imar]

Buona Pasqua a tutti.
riapro un attimo un tema che ha fatto cadere le braccia a PGP, più per chiedere se ci sono altri IWsti cui succedono cose simili o sono il solo baciato dal fato. (Imar, questo è un caso più che vero, se vuoi ti mando tutti i dati )

Stamane verso le 7:50 mi arriva la solita mail di Iw con la contabilità derivati; vincolati derivati xxx euri
alle 8.03 aggiorno sulla QT: il saldo vincolato è xxx + 5.959,6.
Cioè: a mercati chiusi, in 15 minuti, questi si pigliano 6mila euri così, "tanto per".
La cosa "divertente" è che fino a circa le 8:35 sto benedetto valore varia, un po' in su, un po' in giù, fino a fermarsi a xxx + 5.905,13
Va be, non sono seimila, ma sono parenti stretti
Mercati sempre chiusi, eh.

L'unica cosa è che potrebbero essersi accorti che sono scadute queste 3 (tre) call
2014/03/03 3 0 STXE APR4 3350C EUREX 2 EURO
TOTALE 3 0 PREZZO DI CHIUSURA .01

Allora, ste tre valgono 0 (zero) da più di una settimana quindi mi aspetto che IW ne tenga conto da quel dì e mi carichi i margini a mano a mano che si avvicini la data di scadenza (sono talmente DOTM che non proteggono nulla, ihmo).

Per cui se la causa è questa, si torna a ciò che scrissi tempo addietro: mi prendo un paio di otm e mi tengo i soldi sul conto.
6000 euri preferisco averli "per me" che non darli alla banca, sarà sbagliato ma dalle parti di PGP mi hanno insegnato
"articolo quinto, chi tiene in mano ha vinto"

Due domande:
la prima a PGP se e quando si riprende dallo scandalo: è giusto che delle DOTM siano considerate "attive" fino all'ultimo nel calcolo dei margini?
L'altra ad eventuali IWsti, se hanno problemi simili.

IW in chat mi ha detto di aspettare martedì e vedere se alla riapertura dei mercati si sistema

Grazie

C

ah guarda, sono convinto anch'io che martedì te lo mettono a posto.... il problema che non capiscono è che NEL MENTRE loro lo "mettono a posto", ti possono creare dei danni.

Per la mia piccola esperienza, ti posso confermare che IW sui margini e sulla contabilità derivati fa casini di tutti i tipi, ai settlement e soprattutto attorno alle 13:00 (spesso, a metà giornata a me i margini cambiano improvvisamente in maniera slegata dal sottostante)

Sul settlement di dicembre, hanno addirittura sbagliato i conti della liquidazione, mi avevano accreditato +xxxx (purtroppo se ne sono accorti a febbraio.... acc .. e si sono ripresi il di più...)

A metà marzo, non ricordo esattamente il giorno, ma con l'eurostoxx che andava in direzione del mio delta di portafoglio (quindi semmai il rischio della mia posizione diminuiva, o - a star larghi - diciamo che non aumentava...), da un giorno all'altro mi chiedono una integrazione di margini che è uno sproposito sia in valore assoluto sia in percentuale (quasi il 50% in più di quello che dice il simulatore dell'Eurex...).
Io - in genere - non spingo mai molto sui margini, e dunque la cosa non mi ha creato problemi pratici, se non la spiacevole sensazione che questi ti possono mandare in margin call INTRADAY e .... perchè così pare a loro.....

Hoi chiesto spiegazioni via email..... anche ad uno dei boss del commerciale, ma finora mi han solo risposto "le faremo sapere...".

La triste verità (triste, perchè io sono uno dei primissimi clienti di quando si ancora si chiamava ImiWeb Sim) è che IW non è più al top per le opzioni, ed io sto valutando una nuova alternativa (ma non dico quale, è troppo presto).

Tra l'altro, mi hanno dato il DDE su 100 titoli invece che su 50 facendolo "cadere dall'alto" (nonostante non sia esattamente un trader occasionale) ed anche lì non capiscono che questo è un limite grosso per un opzionista (100 ticker copri si e no 3 liquidazioni sull'Eurostoxx, più qualche indice di Borsa...)

Infine, io ho anche sollevato il problema degli interessi sulla liquidità, che per chi fa opzioni non è un dettaglio (gli ho proprio spiegato che ogni 100k liquidi, io rinuncio - rispetto alla concorrenza - 1300 Euro già netti di ritenuta all'anno). Questo - tra parentesi - mi pare un problema che c'è anche su IB (almeno per le somme detenute in Euro....).

Mi ha telefonato un genio del commerciale - quasi scontroso come evidentemente gli hanno insegnato ai corsi di vendita - che mi ha tenuto un quarto d'ora al telefono per dirmi che .... quella è la politica aziendale (e 'sto 'azzone si è anche risentito quando gli ho fatto notare che non mi serviva la spiegazione della rava e della fava, che so la differenza tra un conto deposito ed un conto corrente, e che la mia domanda richiededeva come risposta un semplice SI o NO).

PS anche sul calcolo del capital gain... bisogna fare attenzone

PPS in compenso, il nuovo visualizzatore di opzioni di Sella Extreme 5 ha tutte le IV sballate su OESX maggio (riguardo alla nostra discusisone precedente, vedi che ad ipotizzare che quando vi sono problemi sulla scadenza maggio è perchè non si sa calcolare l'esatto valore dell'underlying.... al 99% non ci si sbaglia di molto....).

 

[AndrewLR]

///////////////////////////////////////////////////////////////////////////////


Prendiamo questo concetto, che è quello centrale che egli ripete più volte


Quando Salviati scrive “la probabilità è un passaggio al limite”, esprime un concetto CORRETTO, ma semplicemente espone l’approccio frequentista (Von Mises, etc….) , che – IN FASE di CALCOLO – richiede ovviamente che N (cioè il numero degli esperimenti) tenda ad infinito.
Non per niente nel linguaggio comune, probabilità è sinonimo di “legge dei grandi numeri”

Ma una volta che la probabilità è attribuita – in qualunque modo (e nei giochi di azzardo non occorre scomodare la concezione frequentista, basta ragionare sulla definizione classica di Fermat e Pascal…) – ESSA si applica ANCHE al singolo tentativo

Di conseguenza, la seconda parte della frase “su pochi casi non funziona” se non riferita alla fase di CALCOLO, ma alla successiva fase di APPLICAZIONE ad un nuovo caso concreto (ed ovviamente simile in tutto e per tutto ai casi usati per il calcolo), è SBAGLIATA, e basta la semplice osservazione di Andrew per rendersene conto



La terza parte della frase “devo ricorrere ad una distribuzione binomiale o ad una correzione di varianza campionaria” E’ FUORVIANTE (ed è stato qui il mio errore...) perché non riguarda né il calcolo nè l’applicazione della probabilità su un nuovo caso concreto, ma piuttosto (come han fatto notare PGP e GML) la stima del rischio che l’esito ottenuto su piccoli campioni sia molto difforme dalla “legge dei grandi numeri”.
Questo è semplicemente un modo diverso per dire che se anche il mio sistema di trading ha una aspettativa positiva (es è come una moneta truccata, in cui – sui grandi numeri – esce testa 6 volte su 10) devo comunque adottare una SIZE della singola puntata sufficientemente ALTA per massimizzare il mio risultato finale, ma – al contempo – sufficientemente bassa per non permettere ad una “bad streak” di esaurire il capitale disponibile ed essere estromesso dal gioco prima che la “legge dei grandi numeri” possa esplicare i suoi effetti.

Son d'accordo, la probabilita' vale chiaramente anche nel singolo caso, solo che i risultati tendono a rendere evidente la sottostante distribuzione di probabilita' solo dopo un numero grande "abbastanza" di eventi.

L' "abbastanza" dipende dalla distribuzione di probabilita' in questione (immagina un caso in cui la moneta e' totalmente truffata e da' testa il 99% delle volte, penso che nessuno oserebbe dirsi indifferente a puntare testa o croce, anche sul singolo evento).

In particolare c'e' il Central limit theorem - Wikipedia, the free encyclopedia che ci dice piu' n cresce, piu' (la media dei risultati - la media della distribuzione) tende ad una normale con media zero e varianza pari alla varianza della distribuzione su sqrt(n) (indipendentemente dalla distribuzione di probabilita' originale!)
Quindi meno varianza ha la sottostante distribuzione di probabilita' (caso della monetina con il 99%), piu' velocemente ci accorgiamo del valore atteso.

Penserei che sia su questo che il prof. ha fatto un attimo confusione (ma dato il mio essere nessuno vs un prof, prendete con le pinze quello che dico...anche se sembra che una regina la pensi come me )

PS: possiamo parlare di probabilita' di vittoria come proxy per il valore atteso perche' nel caso della monetina abbiamo solo 2 casi e la quantita' vinta e' pari alla quantita' persa, ma se ci sono distribuzioni continue (o anche solo con piu' casi), parlare di probabilita' di vittoria non da' un quadro completo.

Esatto, ottima sintesi!

Forum di Finanzaonline.com - Visualizza messaggio singolo - Die Schrödingers Post-Katze




https://www.youtube.com/watch?v=_4JO7Pzr3K8

P.S. L'osservazione di AndrewLR:

Forum di Finanzaonline.com - Visualizza messaggio singolo - Die Schrödingers Post-Katze

Suppongo il tuo commento fosse ironico nei confronti nel prof?

Tutta questa è una sorta di semantica che dipende direttamente dall'ottica che utilizzi per osservare i mercati

Ti scopri cosi'??
penserei che quanto scritto vale per quasi tutti gli approcci (anche il discrezionale), a meno che non fai......

 

[g.l.]

Ma certo, visto che così filtri a priori tutte le alte frequenze, che sono quelle più sensibili al rumore!

Il rovesci della medaglia è che sprechi la tua risorsa più importante: il tempo.
Soprattutto perché i feedback saranno molto più lenti, ma anche perché il capitale si comporrà molto più lentamente.

E' tutta questione di condizioni iniziali ed obiettivi personali.

Grazie.

 

[cammello]

ah guarda, sono convinto anch'io che martedì te lo mettono a posto.... il problema che non capiscono è che NEL MENTRE loro lo "mettono a posto", ti possono creare dei danni.

Per la mia piccola esperienza, ti posso confermare che IW sui margini e sulla contabilità derivati fa casini di tutti i tipi, ai settlement e soprattutto attorno alle 13:00 (spesso, a metà giornata a me i margini cambiano improvvisamente in maniera slegata dal sottostante)

Sul settlement di dicembre, hanno addirittura sbagliato i conti della liquidazione, mi avevano accreditato +xxxx (purtroppo se ne sono accorti a febbraio.... acc .. e si sono ripresi il di più...)

A metà marzo, non ricordo esattamente il giorno, ma con l'eurostoxx che andava in direzione del mio delta di portafoglio (quindi semmai il rischio della mia posizione diminuiva, o - a star larghi - diciamo che non aumentava...), da un giorno all'altro mi chiedono una integrazione di margini che è uno sproposito sia in valore assoluto sia in percentuale (quasi il 50% in più di quello che dice il simulatore dell'Eurex...).
Io - in genere - non spingo mai molto sui margini, e dunque la cosa non mi ha creato problemi pratici, se non la spiacevole sensazione che questi ti possono mandare in margin call INTRADAY e .... perchè così pare a loro.....

Hoi chiesto spiegazioni via email..... anche ad uno dei boss del commerciale, ma finora mi han solo risposto "le faremo sapere...".

La triste verità (triste, perchè io sono uno dei primissimi clienti di quando si ancora si chiamava ImiWeb Sim) è che IW non è più al top per le opzioni, ed io sto valutando una nuova alternativa (ma non dico quale, è troppo presto).

Tra l'altro, mi hanno dato il DDE su 100 titoli invece che su 50 facendolo "cadere dall'alto" (nonostante non sia esattamente un trader occasionale) ed anche lì non capiscono che questo è un limite grosso per un opzionista (100 ticker copri si e no 3 liquidazioni sull'Eurostoxx, più qualche indice di Borsa...)

Infine, io ho anche sollevato il problema degli interessi sulla liquidità, che per chi fa opzioni non è un dettaglio (gli ho proprio spiegato che ogni 100k liquidi, io rinuncio - rispetto alla concorrenza - 1300 Euro già netti di ritenuta all'anno). Questo - tra parentesi - mi pare un problema che c'è anche su IB (almeno per le somme detenute in Euro....).

Mi ha telefonato un genio del commerciale - quasi scontroso come evidentemente gli hanno insegnato ai corsi di vendita - che mi ha tenuto un quarto d'ora al telefono per dirmi che .... quella è la politica aziendale (e 'sto 'azzone si è anche risentito quando gli ho fatto notare che non mi serviva la spiegazione della rava e della fava, che so la differenza tra un conto deposito ed un conto corrente, e che la mia domanda richiededeva come risposta un semplice SI o NO).

PS anche sul calcolo del capital gain... bisogna fare attenzone

PPS in compenso, il nuovo visualizzatore di opzioni di Sella Extreme 5 ha tutte le IV sballate su OESX maggio (riguardo alla nostra discusisone precedente, vedi che ad ipotizzare che quando vi sono problemi sulla scadenza maggio è perchè non si sa calcolare l'esatto valore dell'underlying.... al 99% non ci si sbaglia di molto....).

aggiornamento: sabato mattina hanno "restituito" una fetta; ci sono due cose interessanti:
- la QT e 4Trader hanno due portafogli diversi (uno con ed uno senza le opzioni di aprile); chissà i margini a quale dei due si riferisce.
- i margini sono cambiati di nuovo stamattina, ma in base a che cosa, e non c'è manco un movimento registrato sui conti

vediamo domattina che succede, sembra un romanzo d'appendice

Il calcolatore Eurex mi dice che quelle tre ciofeche valgono un po' meno d 1500 euri, vediamo.
(non sapendo come mischiare due scadenze nel simulatore ho usato per aprile e giugno il valore di giugno, poi ho cancellato le aprile e fatto al differenze dei margini richiesti, meglio di così non sapevo che fare)

Problemi sul settlement di dicembre li ho avuti pure io sulle OBund:
-mi hanno assegnato due bund, rimossi in giornata
-si sono scordati di scaricare le scadute dal conto e lo hanno fatto a metà/fine gennaio; mi trovo quasi un millino in meno sul conto; alla fine avevano ragione loro, ma per capirsi col tipo di IW che rispondeva a monosillabii: "ma sono i due future che mi avete erroneamente assegnato?", "no sono le opzioni", "ma quali opzioni, che sono scadute nulle", "si quelle" e via così per mezz'ora...

I margini che vanno random intraday se ne era parlato; in pratica mi pare di capire che questi usano il prezzo dell'ultimo contratto, o in assenza il close precedente; per cui se hai prevalentemente DOTM cambia poco, se hai un mix di near su scadenze diverse, che possono scambiare in momenti diversi, il "salto" può essere vistoso, specie se è una giornata volante. Il delta reale della posizione non lo vedono, secondo me, am si basano solo sui prezzi "registrati".
Se invece era dalla sera alla mattina, vedi se era il giorno del settlement.
Però adesso mi hai incuriosito con la storia delle 13, anche se è l'ora in cui "non di solo monitor vive il micro trader"

farovvi sapere

 

[GiuliaP]

...la prima a PGP se e quando si riprende dallo scandalo: è giusto che delle DOTM siano considerate "attive" fino all'ultimo nel calcolo dei margini?...

I margini "dovrebbero" essere la misura del rischio giornaliero di controparte della tua posizione. In quest'ottica se una long DOTM abbassa quel rischio, allora nella stessa misura dovrà abbassare i margini.

Inutile dire che il tuo esempio, per quanto reale e nonostante soggetto ad errori del broker, non è significativo in questo ragionamento, visto che non è espressa la posizione complessiva.

Io posso comprendere acquistare (o vendere) un'opzione per abbassare il rischio (e di conseguenza i margini), ma credo per diverse ragioni che farlo "solo" per abbassare i "ballerini" margini giornalieri sia una enorme sciocchezza. Se vuoi ne parliamo approfonditamente: poi se mi dici che per te è pratica comune e ne trovi benefici reali, pronta a ricredermi!

Infine, detto tra noi, va bene stare attenti ai margini giornalieri dei broker, ma non si faccia l'errore comune quanto banale di confonderli con i nostri margini personali: cosa ben distinta, che deve venir fuori da una precisa e complicata analisi di money management, e che sarà, o almeno dovrebbe essere, nella maggior parte dei casi ben poco limitata dagli stessi margini del broker.

Suppongo il tuo commento fosse ironico...

(1-0.5)<>0.5 non può essere ironico!!!

... Ti scopri cosi'??
penserei che quanto scritto vale per quasi tutti gli approcci (anche il discrezionale), a meno che non fai......

Aspetta, parlavo di ottica (analisi), non di approcci (sintesi)

 

[tdazio]

...
Forse il solito semplicissimo ragionamento per assurdo dovrebbe poter togliere qualche dubbio: se fossi in grado di misurare l'errore (il rumore) che ottengo in una misura, allora sarei anche in grado di correggerlo, ovvero di non commetterlo affatto.
...

Mi fa molto piacere che la discussione sull'overfitting stia maturando, con i suoi partecipanti, nella direzione corretta.

Magari prima o poi salta fuori qualche livello 2!

Altro che livello 2, qui siamo ancora a livello sotto-zero

non si fa una misura puntuale dell'errore (o del rumore, come preferisci) ma si misura la sua statistica.
questa misura nelle discipline sperimentali spesso è sufficiente per poterlo correggere parzialmente: nel caso di un segnale coerente (es. segnale radio) diminuire la banda passante migliore il s/n, nel caso di informazione ripetuta (es. connessione internet) n volte, il segnale si moltiplicherà per n il noise per sqr(n) e anche in questo caso migliori s/n

il problema nostro è che abbiamo una sola realizzazione dell'indice SP500 e qualunque tipo di analisi è da ricondursi ai classici test di ipotesi multiple con associati gli errori di tipo 1 (falsi positivi).
tieni conto che nei casi più semplici (es. anomalie di calendario) è sufficiente la classica correzione di bonferroni del p-value per rigettare il 99% delle esoteriche strategie pubblicate su blog/forum

ultima cosa: secondo me non è corretto parlare di segnale e rumore del mercato, ma semmai di s/n del trader.
in prima approssimazione il segnale può essere definito come la parte di varianza futura che riuscirai a prevedere, il rumore tutto ciò che rimane.
probabilmente, nell'ultima decade e a parità di mercato, l's/n di jim simmons è stato superiore al tuo (sicuramente al mio)

 

[GiuliaP]

non si fa una misura puntuale dell'errore (o del rumore, come preferisci) ma si misura la sua statistica.

Ovviamente. Infatti scrivo immediatamente dopo:

Qualora invece mi volessi accontentare di ottenere un intervallo di incertezza, è fondamentale tener presente che nei mercati finanziari la componente di rumore del segnale, oltre ad essere strutturalmente stocastica, è assolutamente preponderante, e quindi l'intervallo di incertezza risulterebbe tanto grande quanto inutile.

il problema nostro è che abbiamo una sola realizzazione dell'indice SP500 e qualunque tipo di analisi è da ricondursi ai classici test di ipotesi multiple con associati gli errori di tipo 1 (falsi positivi).

Ma guarda che il tempo scorre in una unica direzione per tutto. Ovvero tutto ha una unica realizzazione

Riguardo i "classici test di ipotesi multiple", ti rimando a quanto risposto ad AndrewLR:

Riguardo il trial and error, seppur pratica comune, vale quando applicato a processi comunque deterministici. Quando lo si applica al caso porta esattamente overfitting nella misura in cui è intrinsecamente casuale ciò che stiamo osservando.

...ultima cosa: secondo me non è corretto parlare di segnale e rumore del mercato, ma semmai di s/n del trader.
in prima approssimazione il segnale può essere definito come la parte di varianza futura che riuscirai a prevedere, il rumore tutto ciò che rimane...

Il segnale è la parte prevedibile, ovvero deterministica, del prezzo. Senza necessità di alcuna approssimazione o attribuzione!

 

[skew]

In realtà per ora ho notato solo settimana scorsa qualche stranezza sui titoli che staccavano...

 

[massimo ceraldo]

Erykah Badu - Other Side Of The Game - YouTube

 

[AndrewLR]

Sapevate?

CME Europe ? London-based European Derivatives Exchange

Trading Opportunities on CME Europe