Overfitting

[Cren]

Come non ti rispondo!!!

Ti ho risposto eccome, anche all'ultima domanda!!

L'ha fatto in MP, dopo aver visto che reazione hanno avuto "di là" ad un mio innocente post sul Garch (p, q)...

Comuqnue spesro che tu abbia apprezzato l'analogia tra prezzo (IV) e valore (HV/RV)... che nelle mie umili intenzioni voleva fare un pò il paio con quella di PGiulia tra i due "fratelli" Arnold Schwarzenegger e Danny De Vito!!!

E' vero (hai visto, GiuliaP? La faccina incazzata esiste! ), dici il giusto. Faccio mea culpa e confesso la provocazione atta a forzare una tua maggior partecipazione alle discussioni piuttosto che una risposta ad un mio messaggio in particolare.

Con riferimento all'analogia che hai citato, debbo dire che cercare un filo conduttore tra essa e altre tue affermazioni mi ha suggerito conferme di quello che mi sembra la tua forma mentis di approccio al mercato (sono sempre e solo mie congetture, beninteso), ovvero legami di causa ed effetto di natura economica eventualmente (ma non necessariamente) validabili da storici (ultimo esempio di cui si parla il c.d. «LHE»).

Sintetizzerei parlando di «leggi di natura» in contrapposizione a «relazioni statistiche», ma temo di aver già interpretato troppo a colpi di congetture un modus operandi che nemmeno conosco.

Esiste comunque il nodo, mai sciolto nemmeno quando si sarebbe potuto (e non ce l'ho con te ma con altri frequentatori del FOL), del procedimento da seguire per trovare l'ambito in cui ratio economica e comportamento dei mercati divergono [e notino eventuali e annoiati lettori che non siamo affatto OT, tutt'altro!].

Perchè un privato non può sicuramente giocare al gioco dei c.d. «grandi fondamentali macroeconomici», ma cercare inevitabilmente qualcosa di più "sporco"... Come, giustappunto, l'eccesso di domanda o di offerta nell'ultima ora di contrattazione non sotto forma di un bel R² di una equity generata con regole sparate in Matlab ma sotto forma effetto di una causa economica ben precisa.

Ovvero, in un orizzonte temporale molto più ristretto, come l'Imar di turno evita l'over fitting, fa il minimo indispensabile uso di serie storiche e al tempo stesso scova una legge di natura dalla quale il mercato si discosta in misura tale da consentire un ingresso che verosimilmente non farà finire l'avventura in margin call?

Questa è la vera domanda la risposta alla quale pone anche pietra tombale sul temuto over fitting, secondo me.

 

[Cren]

Ovvero, in un orizzonte temporale molto più ristretto, come l'Imar di turno evita l'over fitting, fa il minimo indispensabile uso di serie storiche e al tempo stesso scova una legge di natura dalla quale il mercato si discosta in misura tale da consentire un ingresso che verosimilmente non farà finire l'avventura in margin call?

P.S.: naturalmente con una metodologia priva di componenti soggettive e discrezionali, altrimenti siamo messi come il sottoscritto che compra Schatz cash perchè sia mai che morisse l'euro si ritroverebbe un rendimento immediato di oltre il 30% grazie alla terrificante svalutazione della nostra carta straccia contro la nuova divisa teutonica

 

[reef]

Tornando a Reef,

in linea pratica sono d'accordo in quanto non utilizzo mm, in linea teorica questa tua concusione, se acclarata, implicherebbe che anche i modelli ARIMA e consimili e tutto quel che ne deriva, non possono essere predittori e mediano il rumore, solo con una sofisticazione statistico matematica appena più accurata o no? non basterà mica trasformare la serie in stazionaria per compiere il miracolo?

Io penso che sia così, a meno che qualcuno mi dimostri il contrario.
Penso che ci sia qualche chance in più con i modelli ARX (con l'alchimia della X...) o con le cosiddette "scatole grigie", poichè i modelli autoregressivi, da quanto ricordo, hanno qualche probabilità di predizione solo in caso di processi stazionari ed ergodici (se la memoria non mi tradisce). Nel nostro caso, quando prendiamo serie limitate di dati la stazionarietà va a farsi benedire. Non entro nel merito del GARCH perchè non fa parte del mio background culturale.
Confesso che a me la stazionarietà sui grandi numeri interessa poco, essendo tendenzialmente interessato a modelli che hanno un numero di campioni limitato e a rappresentazioni che diano qualche prospettiva di predizione partendo dall'immediato passato. In questo senso ritengo che il lavoro di skarso sia piuttosto interessante, anche se faccio fatica a seguirlo perchè non ho le sue stesse capacità (sono più scarso di skarso )

PS Per curiosità, visto che noto una certa famigliarità con la meccanica quantistica, c'è qualche fisico tra voi?

P.S.: naturalmente con una metodologia priva di componenti soggettive e discrezionali, altrimenti siamo messi come il sottoscritto che compra Schatz cash perchè sia mai che morisse l'euro si ritroverebbe un rendimento immediato di oltre il 30% grazie alla terrificante svalutazione della nostra carta straccia contro la nuova divisa teutonica

Ecco, a proposito di autogressione, processi stazionari e meccanica quantistica

 

[Piedi a Terra]

Caro PAT,
io ho sentito parlare di dati reali, però francamente di riscontri non ne ho visti.
Facciamo così: se lei mi fornisce una serie storica intraday da almeno 6-12 mesi (PASSATA, ovviamnete, mi va bene anche Interbanca del 2000), relativa ad un sottostante che abbia raggiunto il 90% di operazioni non in perdita io mi impegno a testarla col MIO codice del LHE e di pubblicare tutto IN CHIARO (codice compreso) nell'apposito thread.

Non possiedo i dati storici di Interbanca (se qualcuno li fornisse ad Imar farebbe cosa utile)

Ricordo che Interbanca era molto vicina all'identikit del candidato ideale attraverso cui si chiudevano in utile la quasi totalita' delle operazioni dell'ultima ora.

Un saluto

 

[Imar]

Ovvero, in un orizzonte temporale molto più ristretto, come l'Imar di turno evita l'over fitting, fa il minimo indispensabile uso di serie storiche e al tempo stesso scova una legge di natura dalla quale il mercato si discosta in misura tale da consentire un ingresso che verosimilmente non farà finire l'avventura in margin call?

Ma sei terribile: te l'hanno spiegato di là e di qua ..... due esimi e rispettati contributori... (d'accordo su niente.... tranne che su Imar ..... ) che in 10 anni il suddetto non ha scritto niente di significativo ed interessante!!!

Chi diavolo ha mai detto di poter fare tutte quelle cose lì.... e pure contemporaneamente .


PS non esistono leggi di natura.... neanche la curva ad U che ho postato sull'altro thread riguardo alla distribuzione temporale del massimo/minimo di giornata è -per così dire - universale ed immutabile: esiste un settore importantissimo delle attività finanziarie in cui si manifesta piuttosto una curva a W.... oppure ad L.... oppure....

 

[GiuliaP]

Una precisazione.

E' pienamente condivisibile cio' che hai scritto, ma, se mi permetti, io restringerei la tua affermazione solo all'ipotesi di prendere la serie storica (le serie storiche) "as is", cioe' campionata con regolarita' di intervallo di campionamento.
Se in presenza di determinate cause che ragionevolmente possono spiegare taluni fenomeni si provasse a campionare in modo selettivo, oppure a filtrare i soli dati storici sensibili, ci si potrebbe quasi sempre accorgere che la quantita' di rumore contenuta in una serie storica non e' qualitativamente diversa dalla quantita' di rumore contenuta nell'output di un sistema fisico controllabile.

E come filtri i dati sensibili da quelli insensibili?

Se usi dati esterni alla serie storica, ovviamente il discorso cambia completamente. Pur restando sempre anni luce lontani dal paragone con un sistema fisico controllabile.

Se invece ti limiti ad utilizzare serie di prezzi (o rendimenti), per quanti palazzi, ponti, e teorie della relatività ristretta ci vuoi costrire sopra, sempre una montagna di overfitting ricaverai

Come prova di quanto sopra puoi usare la stessa logica che si usa per confutare i viaggi nel tempo (è una battuta, non ci ragionare troppo sopra )

Starless, non mi riferivo a te, ma al mio interlocutore di una discussione su opzioni sul fol da cui PAT, essendo mio accanito lettore da più di 10 anni, ha scoperto l'esistenza del gatto con gli stivali

...Ovvero, in un orizzonte temporale molto più ristretto, come l'Imar di turno evita l'over fitting, fa il minimo indispensabile uso di serie storiche e al tempo stesso scova una legge di natura dalla quale il mercato si discosta in misura tale da consentire un ingresso che verosimilmente non farà finire l'avventura in margin call?...

Imar di turno, non cedere! Posso sentire in te il lato oscuro molto potente: l'imperatore ci sta osservando!

 

[Piedi a Terra]

Starless, non mi riferivo a te, ma al mio interlocutore di una discussione su opzioni sul fol da cui PAT, essendo mio accanito lettore da più di 10 anni, ha scoperto l'esistenza del gatto con gli stivali

E' gia' ! Pensate un po'

Prima di leggere PGiulia, ardito sforzo intellettuale in cui mi sto cimentando da oramai 10 anni senza mai venire a capo dei contenuti implciti dei messaggi che emergono solo a differenti layer di lettura pensavo che il gatto con gli stivali non esistesse.

In realta' - prima delle letture di PGiulia - ritenevo che fosse il solo Pollicino ad usare gli Stivali (delle Sette Leghe, per la precisione) ma poi grazie ad ella ho appurato con apposito P(value) - significativo secondo tutti i test concorrenti - che il Gatto con gli Stivali non usa gli stivali come ausilio alla corsa, ma solo come abbigliamento per presentarsi dinanzi al re.

Essendo proprio in questi giorni in programmazione al cinema "Il Gatto con gli Stivali", nella versione moderna della Dreamworks,non ci si poteva esimere dal verificare quanto racconta PGiulia.
Il film pare completamente diverso dalla fiaba originaria raccontata da Pgiulia
Non posso a questo punto non sottolineare che se gli stivali rendessero portentosi chi li indossa, come tale Gatto, allora si potrebbe diventare sicuramente dei campioni di ginnastica e di scherma. Nel film il Gatto corre anche in maniera impressionante da un tetto all'altro, ma ho dei dubbi sulla capacita' del Gatto di essere un ottimo determinista nell'approcciare i fenomeni psicologici. Come tutti i felini, infatti, le armi principali del gatto nella corsa sono scatto e velocità e non certamente nell'analisi del fenomeno overfitting.

P.S.

Nonostante le Fiabe che si raccontano nelle comunita' finanziarie del Web, notevoli comunque questi cartoni animati moderni, ed in particolare quelli realizzati dalla Dreamworks, ma anche da altre case di produzione. Certi sono dei veri capolavori ma soprattutto sono spesso perfettamente godibili anche da un pubblico adulto

 

[Piedi a Terra]

E come filtri i dati sensibili da quelli insensibili?

E con la privacy, come la mettiamo ?
Temo di avere già gli sbirri alle calcagna per dei sospetti di fenomeni di stalking ai danni delle povere fiammiferaie presenti su questo forum. Ed adesso vorresti che insorgano delle ulteriori grane sul trattamento dei dati sensibili ?

 

[Cren]

Chi diavolo ha mai detto di poter fare tutte quelle cose lì.... e pure contemporaneamente .


PS non esistono leggi di natura.... neanche la curva ad U che ho postato sull'altro thread riguardo alla distribuzione temporale del massimo/minimo di giornata è -per così dire - universale ed immutabile: esiste un settore importantissimo delle attività finanziarie in cui si manifesta piuttosto una curva a W.... oppure ad L.... oppure....

Imar di turno, non cedere! Posso sentire in te il lato oscuro molto potente: l'imperatore ci sta osservando!

Bè, la domanda aveva un che di retorico: invocava a gran voce la generalizzazione del procedimento particolare per cui uno arriva a scoprire il c.d. «LHE», il ritardo di quotazione sui covered warrant, i movimenti anomali su un titolo fatti da un insider di buone dimensioni tutti i giorni alla stessa ora etc. ...senza passare le sue giornate davanti al book scegliendo il sottostante pescando dalla centrifuga della tombola.

Generalizziamo ad minchiam canis e rigorosamente just for fun i tre fenomeni elencati: sono inefficienze? Sì, perchè il mercato non è più un processo markoviano.

Come li scopro?

1. So che c'è una grossa fetta di trader intraday che si chiude a fine giornata, quindi c'è una pressione sulla domanda o sull'offerta in funzione del segno della seduta. Quindi parto da un'informazione privilegiata di carattere generale, la «legge di natura» è quella di domanda e offerta e io deduco un effetto non casuale sui prezzi in chiusura di mercato perchè interviene un fattore esogeno.
2. E' introdotto un nuovo strumento sul mercato. Mi chiedo: quello strumento è il derivato di qualcosa? Sì (in finanza quasi tutto è il derivato di qualcosa, la vera discriminante è la domanda successiva). Quel sottostante è osservabile e negoziabile liberamente? Sì. Sono in molti a farsi la domanda che mi sto facendo io? No (come faccio a saperlo? Boh!)... Ci provo: c'è una «legge di natura» (limiti di non arbitraggio) che lega derivato e sottostante, se viene infranta anche solo per pochi secondi, entro. Sapere che, per ragioni di liquidità e volumi, è sempre il derivato a seguire il sottostante aiuta, eccome.
3. Se ci sono rumor, sono già in ritardo. Faccio congetture su quando e come si muoverebbe un insider, magari ci azzecco. Ho fortuna, ci prendo. Non vedo altre strade se non essere insider io stesso.

 

[Piedi a Terra]

1. E' introdotto un nuovo strumento sul mercato. Mi chiedo: quello strumento è il derivato di qualcosa? Sì (in finanza quasi tutto è il derivato di qualcosa, la vera discriminante è la domanda successiva). Quel sottostante è osservabile e negoziabile liberamente? Sì. Sono in molti a farsi la domanda che mi sto facendo io? No (come faccio a saperlo? Boh!)... Ci provo: c'è una «legge di natura» (limiti di non arbitraggio) che lega derivato e sottostante, se viene infranta anche solo per pochi secondi, entro. Sapere che, per ragioni di liquidità e volumi, è sempre il derivato a seguire il sottostante aiuta, eccome.

C'e' anche l'eccezione alla regola.

In molti degli aumenti di capitale del passato non sempre era vero che fosse il derivato (il diritto) ad anticipare il sottostante (i movimenti dell'azione strippata). Anzi, molte delle volte il diritto era manovrato da essere reso poco volatile per incentivare l'acquisto dello stesso e la conseguente sottoscrizione di nuovi capitali da far affluire nelle casse sociali. Poi sono arrivati i tempi della finanza di rapina e degli aumenti iperdiluitivi, che hanno radicalmente rovesciato il quadro precedente.