Overfitting

[cammello]

Nemmeno più di Bloomberg ci si può fidare!

E' proprio vero che è meglio farsi tutto in casa

A parte gli scherzi (ma non troppo...), mi par di capire che sicuramente è la mia fonte dati che è sbagliata, e che quella IV non è mai stata battuta.

Bloomberg lo fa con tutte: sempre +1 rispetto a IB; probabilmente c'è di mezzo qualche convenzione di regolamento, ma gli altri valori tornano (tranne quello).

per le azioni usa il regolamento dovrebbe essere il sabato mattina e non il venerdì come gli indici (o viceversa?).

C

 

[Cren]

Se sbrogli la matassa fammi sapere. Sono curiosa.

Dovrei interfacciare R con le API di IB per scaricarmi gli storici dello SPY, ma mi fido dei tuoi dati; verosimilmente è un errore di modello.

D'altronde anche IB in ActiveX non di rado mi fa sparire momentaneamente la IV e le Greche, fortunatamente non ho mai posizioni che mi richiedano monitoraggio secondo su secondo delle Greche.

Ti consiglio questo breve & divertente spunto, soprattutto considerato il tuo rapporto con i venditori in generale

http://www.zerohedge.com/news/citi-hires-top-model-contestant-sell-equity-derivatives
​

 

[GiuliaP]

Si partiva da un grafico a 2 dimensioni:

...d'altronde posso aggiungere solo un'altra dimensione prima di andare incontro ai limiti umani...

...A me ne risultano almeno altre 2, quando non si ha alcuna fantasia...

Sì, ok, intendevo dire come funzioni continue senza trasformare lo spazio cartesiano in un... "coso"... incomprensibile

Ma non divaghiamo: facciamo anche finta che io lì ci metto una superficie o addirittura un solido...

Sono passati solo 7 mesi: la TS di apprendimento di Cren si sta facendo pericolosamente ripida!

 

[Cren]

Da Forecasting: principles and practice, di Rob J. Hyndman e George Athanasopoulos:

Forecasters are often met with skepticism. Almost every time I tell someone that I work in forecasting, they say something about forecasting the stock market, or forecasting the weather, usually suggesting that such forecasts are hopelessly inaccurate. In fact, forecasts of the weather are amazingly accurate given the complexity of the system, while anyone claiming to forecast the stock market deserves skepticism. So what is the difference between these two types of forecasts, and can we say anything about what can be reasonably be forecast and what can't?

Clearly, some things are easier to forecast than others. The time of the sunrise tomorrow morning can be forecast very precisely. On the other hand, tomorrow's lotto numbers cannot be forecast with any accuracy. The predictability of an event or a quantity depends on several factors including:

1. how well we understand the factors that contribute to it;
2. how much data are available;
3. whether the forecasts can affect the thing we are trying to forecast.

For example, forecasts of electricity demand can be highly accurate because all three conditions are usually satisfied. We have a good idea on the contributing factors: electricity demand is largely driven by temperatures, with smaller effects for calendar variation such as holidays, and economic conditions. Provided there is a sufficient history of data on electricity demand and weather conditions, and we have the skills to develop a good model linking electricity demand and the key driver variables, the forecasts can be remarkably accurate.

On the other hand, when forecasting currency exchange rates, only one of the conditions is satisfied: there is plenty of available data. However, we have a very limited understanding of the factors that affect exchange rates, and the forecasts of the exchange rate have a direct effect on the rates themselves. If there are well-publicized forecasts that the exchange rate will increase, then people will immediately adjust the price they are willing to pay and so the forecasts are self-fulfilling. In a sense the exchange rates become their own forecasts. This is an example of the efficient market hypothesis. Consequently, forecasting whether the exchange rate will rise or fall tomorrow is about as predictable as forecasting whether a tossed coin will come down as a head or a tail. In both situations, you will be correct about 50% of the time whatever you forecast. In situations like this, forecasters need to be aware of their own limitations, and not claim more than is possible.

Often in forecasting, a key step is knowing when something can be forecasted accurately, and when forecasts are no better than tossing a coin. Good forecasts capture the genuine patterns and relationships which exist in the historical data, but do not replicate past events that will not occur again.

Many people wrongly assume that forecasts are not possible in a changing environment. Every environment is changing, and a good forecasting model captures the way things are changing. Forecasts rarely assume that the environment is unchanging. What is normally assumed is that the way the environment is changing will continue into the future. That is, that a highly volatile environment will continue to be highly volatile; a business with fluctuating sales will continue to have fluctuating sales; and an economy that has gone through booms and busts will continue to go through booms and busts. A forecasting model is intended to capture the way things move, not just where things are. As Abraham Lincoln said «If we could first know where we are and whither we are tending, we could better judge what to do and how to do it».
​

 

[Paolo1956]

Bello, ma temo non funzioni così.

L'idea che people will immediately adjust the price they are willing to pay è (in parte) pellegrina.

Il prezzo risulta anche dalla formazione di un consenso collettivo, e quindi è il risultato di un processo che richiede tempo e che è (parzialmente) predittibile.

Le argomentazioni à la Sornette mi convincono abbastanza.

 

[Cren]

L'idea che people will immediately adjust the price they are willing to pay è (in parte) pellegrina.

Il prezzo risulta anche dalla formazione di un consenso collettivo, e quindi è il risultato di un processo che richiede tempo e che è (parzialmente) predittibile.

Ti direi che quell'idea è tanto meno pellegrina quanto più è chiaro il legame tra endogene e predittori (*).

Per esempio, una diminuzione dei tassi d'interesse non attesa ha il chiaro effetto di deprezzare una moneta nei confronti delle altre; il legame tra causa ed effetto è palese ed è difficile dare interpretazioni diverse da questa.

In quel caso la frase «people will immediately adjust the price they are willing to pay» mi sembra assolutamente perfetta.

La necessità di tempo, e quindi una forma di non efficienza (ovvero: i prezzi passati concorrono in qualche modo alla formazione dei prezzi futuri), è eventualmente ammissibile solo in un contesto con shock dall'esito incerto, dove è difficile intuire e comprendere un legame funzionale tra le variabili: in questo caso di fantasia mi aspetterei di vedere formarsi un consensus giorno dopo giorno, mano a mano che un'idea si forma e non ci sono altre variabili esterne a impattare.

Quanto è realistico un contesto del genere in un mondo in cui l'informazione è istantanea, gli schemi di pensiero sono stati portati ad una sintesi esasperata insieme alla elevata correlazione degli asset e la finanza è proprio l'ambito in cui allo stesso tempo tutte le variabili macroeconomiche hanno un qualche potere esplicativo e nessuna ce l'ha per davvero?

(*) La stessa distinzione tra ciò che è previsto e ciò che prevede in ambito finanziario è compassata: abbiamo davvero qualcosa che è solo predittore e qualcosa che ne "subisce" passivamente gli effetti oppure tutte le variabili si influenzano a vicenda?

Direi che, per quanto riguarda grandezze osservabili da tutti, vale ques'ultimo caso.

 

[Cren]

Il prezzo risulta anche dalla formazione di un consenso collettivo, e quindi è il risultato di un processo che richiede tempo e che è (parzialmente) predittibile.

In merito al tema ricorrente del "seguire", che è uno dei più gettonati in tutte le comunità on line di trading («Non anticipate, seguite il mercato!», «Si raccolgono le briciole accondandosi ai grandi!», «Bisogna fare come le remore...», «Trend is your friend!» etc. etc.): Paolo, ti sentiresti di comprare e/o vendere asset col solo ausilio di:

1. un discreto flusso di notizie e analisi macroeconomiche che ti aiutino a identificare il contesto in cui ci troviamo;
2. un filtro di frequenza per barattare ritardo con smoothness;
3. questa tabella (o altri schemi estremamente sintetici di tua scelta)

Ovvero: seguire pedissequamente il tuo filtro (media mobile, regressione kernel, decomposizione... quello che preferisci!) solo quando dà indicazione coerente con la tabella sulla base del contesto macroeconomico individuato.

Ti sentiresti di farlo?

(Se sì perchè / se no perchè, ovviamente )

Cren, oramai sei un Dark Jedi. Che tu lo voglia o meno!

Hai finalmente compreso a fondo questo thread, anche nei suoi messaggi più nascosti; sei salito di livello, e puoi finalmente guardare le cose da un punto più elevato.

Benvenuto, sono veramente orgogliosa di te

Sei troppo buona e mi sopravvaluti enormemente, non merito certo una investitura come quella!

 

[Paolo1956]

Io non faccio guerre di religione......

Le due tesi opposte: mercati efficienti vs. mercati inefficienti e predittibili hanno illustri contributori. Prendo atto che nessuna delle due ha per ora raggiunto risultati definitivi.

Per la seconda domanda:

quello di seguire un filtro già lo faccio. Mi lascia perplessa la tabella, perché contiene troppe semplificazioni. Ad esempio, se la deflazione è comunemente ritenuta nemica delle azioni, ci sono studi che mostrano fenomeni di isteresi in contesti inflattivi superiori a una certa soglia (in soldoni, per farsi capire, in presenza di inflazione elevata le azioni stentano a seguire). Sul perché di questo mi risulta che il dibattito sia aperto.

Comunque, certamente usiamo schemi mentali, ma non è detto che li si sappia formalizzare.

Tu chiedi il perché delle scelte.....
Perché uso dei filtri? Perché appaiono funzionare (in modo statisticamente significativo dovrei aggiungere con evidente pallosità di linguaggio).

 

[Imar]

Clearly, some things are easier to forecast than others. The time of the sunrise tomorrow morning can be forecast very precisely. On the other hand, tomorrow's lotto numbers cannot be forecast with any accuracy. The predictability of an event or a quantity depends on several factors including:

1. how well we understand the factors that contribute to it;
2. how much data are available;
3. whether the forecasts can affect the thing we are trying to forecast.

.....................


Often in forecasting, a key step is knowing when something can be forecasted accurately, and when forecasts are no better than tossing a coin. Good forecasts capture the genuine patterns and relationships which exist in the historical data, but do not replicate past events that will not occur again.

.....................
​

Caro Cren,

mi ricordi un thread del forum econometrico più famoso della galassia D) in cui si sosteneva che la previsione della produzione settimanale di latte dell'Emilia Romagna non era da ritenersi equivalente alla previsione della variazione dell'S&P MIB nella settimana a venire.

Quel thread venne ridicolizzato, se non addirittura ritenuto un attacco del sottoscritto a Vampyro1 (cosa assurda di per sè, dato che se una cosa si può assumere per sicura è che non esistono campi comuni di competizione tra noi....), per l'abitudine di alcuni a giudicare in base a CHI dice e non in base a COSA dice.

Rompo il mio silenzio (*) solo per dire che anch'io - per quel niente che può contare - sono particolarmente contento del livello raggiunto da quello che scrivi e della tua evoluzione degli ultimi 2 anni (non ti dispiacerà se ricordo che eri partito dalla bizzarra idea di costruire "boundaries" attorno all'S&P MIB in base all'open interest delle opzioni MIBO ... )




(*) a volte è stata particolarmente dura.
Per esempio quando ho letto ..... "la volatilità implicita non c'entra niente con la volatilità...." mi sono cadute le braccia.
Mi aspettavo che almeno uno (o una ) a caso se ne uscisse con un ...... "beh.... sageruma nen"

 

[Cren]

Io non faccio guerre di religione......

A me lo dici?

Sai che non parteggio per definizione, basta che le cose funzionino

Lo sforzo di apertura mentale c'è sempre, ma quell'estratto che ho pubblicato (a scanso di equivoci: non ho letto il libro) a mio avviso descrive bene alcuni dei problemi di fare inferenza su serie finanziarie.

Parlando, ad esempio, di modelli che restituiscono buone stime (con «buone» mi riferisco alla distribuzione degli errori e alla significatività statistica dei coefficienti), non si può fare a meno di osservare che, nel momento in cui si chiede al modello una previsione sufficientemente attendibile (diciamo col 70 ~ 80% di confidenza), l'intervallo dei valori possibili su cui dobbiamo basare le nostre decisioni è così ampio che abbiamo poche possibilità di usarlo per scegliere di comprare o vendere azioni, futures, ETF etc.

Non è il modello di forecast che non funziona, quello fa esattamente quello per cui è stato progettato: è quanto noi chiediamo al modello che è decisamente poco realistico.