Statistica

[Mercuzio]

Salve a tutti,

In conseguenza a diverse richieste giuntemi a riguardo di argomenti matematici-statistici, apro questo 3d dedicato alla risoluzione degli stessi..
In seguito vedremo se e come ampliare questo 3d con la didattica.

Per adesso inizio con un quesito giuntomi per MP:

"Come determinare il coefficiente di correlazione di Pearson" tra due variabili aleatorie o statistiche?"

Una breve definizione di questo coefficente:

Il coefficiente di correlazione (lineare) di Pearson serve a definire il livello di correlazione fra due variabili aleatorie o statistiche, oscillando fra i valori di 1 e -1 determina i seguenti stati:

• 
  , le variabili x e y si dicono direttamente correlate, oppure correlate positivamente;
  
  
  , le variabili x e y si dicono incorrelate;
  
  
  , le variabili x e y si dicono inversamente correlate, oppure correlate negativamente.

Lo stato direttamente correlato (>0) identifica due variabili che si muovono simultaneamente (o quasi) nello stesso verso, cioè al crescere/decrescere di una cresce/decresce anche l'altra.

Lo stato incorrelato (=0) identifica due variabili non correlate fra loro, cioè che si muovono in modi totalmente diversi l'una dall'altra (il che non significa "indipendenti")

Lo stato inversamente correlato (<0) identifica due variabili che si muovono sempre in modo contrario, cioè quando una cresce l'altra decresce.


Il coefficiente di correlazione (lineare) di Pearson è infine dato dalla formula:

. cioè: coeff.= covarianza(xy)/(St.Dev(x)*St.Dev(y))

dove x e y sono le due variabili

Ed ora la formula per PRT:

////////////////////////////////////////////////////////////////////////////////

REM: Parametri da creare: period=?

x=?
y=?

REM Covarianza

xav=average[period](x)
yav=average[period](y)

scartox=x-xav
scartoy=y-yav

pscarti=scartox*scartoy

covarianza=average[period](pscarti)

REM Calcolo Standard Deviation senza passare dalla funzione standard

MMx=average[period](x)
ax=(square(x-MMx))
sx=summation[period](ax)
StDevx=SQRT(sx/(period-1))

MMy=average[period](y)
ay=(square(y-MMy))
sy=summation[period](ay)
StDevy=SQRT(sy/(period-1))

REM Calcolo il coeff di Pearson

Pcoeff=covarianza/(StDevx*StDevy)

return Pcoeff as "Pcoeff", 0 as "0"

////////////////////////////////////////////////////////////////////////////////

Naturalmente parliamo di misure campionarie e pertanto è necessario decidere l'ampiezza del campione tramite il parametro "period" da creare in PRT....le variabili "X" e "Y" sono chiaramente sconosciute in questa formula e possono essere sostituite con ciò che si vuole.
Sfortunatamente PRT non consente di utilizzare flussi di dati provenienti da titoli diversi nella stessa formula, e pertanto i flussi in questione dovranno necessariamente derivare dallo stesso titolo (es. due differenti medie mobili del solito prezzo)...

Ad esempio qui sotto potremmo fare il caso di due medie a 100 periodi, di cui la prima di tipo aritmetico (rossa) e la seconda esponenziale (blu)...quale sarà il loro livello di correlazione..?
E vediamo che in pratica sono sempre correlate (nel campione da nuoi considerato), cioè i loro valori non toccano mai lo zero, ne tantomeno scendono sotto zero....quindi ci sono solo casi in cui abbiamo + o - correlazione...

Se invece modifichiamo la prima media aritmetica portandola a 200 periodi contro i 100 di prima.....
Vediamo che affiorano anche casi di non correlazione e correlazione inversa...

saluti.

 

[Jolly Roger]

iscritto

ho letto tutto e finora mi è tutto chiaro, un po' meno come si arriva al coefficiente di correlazione, ma penso non sia oggetto della discussione.

fai bene a sottolineare che purtroppo PRT non consente di utilizzare contemporaneamente più serie storiche

 

[Mercuzio]

iscritto

ho letto tutto e finora mi è tutto chiaro, un po' meno come si arriva al coefficiente di correlazione, ma penso non sia oggetto della discussione.

fai bene a sottolineare che purtroppo PRT non consente di utilizzare contemporaneamente più serie storiche

Ciao Black...

Lo scopo del 3d è quello di discutere di statistica sotto vari aspetti, domande, dubbi, didattica, se possibile anche ricerca e discussione....

Pertanto se vuoi e t'interessa posso chiarire il dubbio specifico sul coefficente di correlazione se mi spieghi quale passaggio non è chiaro...

O altrimenti puoi proporre altri argomenti che t'interessano dipiù...
Distribuzioni e loro tipologie, calcolo delle frequenze, forma e orientamento di distribuzioni solo per citare gli argomenti che di solito vanno per la maggiore...o altro...

saluti

 

[Jolly Roger]

Ciao Black...

Lo scopo del 3d è quello di discutere di statistica sotto vari aspetti, domande, dubbi, didattica, se possibile anche ricerca e discussione....

Pertanto se vuoi e t'interessa posso chiarire il dubbio specifico sul coefficente di correlazione se mi spieghi quale passaggio non è chiaro...

O altrimenti puoi proporre altri argomenti che t'interessano dipiù...
Distribuzioni e loro tipologie, calcolo delle frequenze, forma e orientamento di distribuzioni solo per citare gli argomenti che di solito vanno per la maggiore...o altro...

saluti

Ok cominciamo dalla base, il coefficiente di correlazione di Pearson.

Viene usata sia la covarianza

la covarianza è un indice che misura la "contemporaneità" della variazione (in termini lineari) di due variabili casuali.

che la deviazione standard

La deviazione standard (in inglese: standard deviation) o scarto quadratico medio è un indice di dispersione (vale a dire una misura di variabilità di una popolazione o di una variabile casuale) derivato direttamente dalla varianza, ha la stessa unità di misura dei valori osservati (mentre la varianza ha come unità di misura il quadrato dell'unità di misura dei valori di riferimento). La deviazione standard misura la dispersione dei dati intorno al valore atteso.

Ho ripreso le definizioni che ho trovato su wikipedia (sperando siano corrette), visto che nel mio campo piuttosto frequentemente ci sono errori non indifferenti.

Che differenza c'è tra covarianza e coefficiente di correlazione ?

Dopo averti posto la domanda ho trovato questa soluzione (http://www.ds.unifi.it/VL/VL_IT/expect/expect3.html)

La correlazione è quindi una versione modificata della covarianza; osserva che i due parametri hanno sempre lo stesso segno (positivo, negativo o 0). Quando il segno è positivo, le variabili si dicono positivamente correlate; quando il segno è negativo negativamente correlate; e quando è 0, le variabili si dicono incorrelate. Come il termine stesso suggerisce, la covarianza e la correlazione misurano un certo tipo di dipendenza tra le due variabili.


L'obiettivo finale è chiederti se per creare un indicatore ciclico è necessario guardare alle medie che poi non sono altro che filtri della serie storica.

L'identificazione di una certa correlazione tra medie di periodi diversi dovrebbe farci apprezzare la ciclicità.

Sbaglio o il motivo per il quale usi dati a 1min è quello di preferire delle medie ad una riduzione dei dati utilizzando dei tf più lunghi ?

 

[Mercuzio]

Ok cominciamo dalla base, il coefficiente di correlazione di Pearson.

Viene usata sia la covarianza

la covarianza è un indice che misura la "contemporaneità" della variazione (in termini lineari) di due variabili casuali.

che la deviazione standard

La deviazione standard (in inglese: standard deviation) o scarto quadratico medio è un indice di dispersione (vale a dire una misura di variabilità di una popolazione o di una variabile casuale) derivato direttamente dalla varianza, ha la stessa unità di misura dei valori osservati (mentre la varianza ha come unità di misura il quadrato dell'unità di misura dei valori di riferimento). La deviazione standard misura la dispersione dei dati intorno al valore atteso.

Ho ripreso le definizioni che ho trovato su wikipedia (sperando siano corrette), visto che nel mio campo piuttosto frequentemente ci sono errori non indifferenti.

Che differenza c'è tra covarianza e coefficiente di correlazione ?

La covarianza e il coefficiente di correlazione di Pearson sono esattamente la stessa cosa, nel senso che anche la covarianza è una misura di correlazione e può assumere valori sia positivi che negativi, con lo stesso significato spiegato prima per Pearson, la differenza (ed il grosso vantaggio) stà nel fatto che il coefficente di Pearson, tramite la divisione per il prodotto degli scarti quadratici medi, "normalizza" l'indice di correlazione creando il range +1 -1....questo fà si che si possa sapere con certezza che quando l'indice tocca +1, le due variabili xy sono totalmente e perfettamente correlate, mentre al tocco di -1 esse sono totalmente e perfettamente inversamente correlate....così ad esempio se il coefficente in un punto risulta uguale a 0,99 ciò significa che le variabili xy sono direttamente correlate solo al 99%...stessa cosa per il -0,99 e così via....mentre per lo zero non ci sono differenze, sia la covarianza che Pearson quando verificano lo zero indicano completa e totale mancanza di correlazione.....
La covarianza insomma non ha scala e pertanto si può dedurre l'intensità della correlazione xy solo empiricamente tramite il confronto dei valori massimi e minimi verificatisi nel passato.

Tutto claro..

 

[Mercuzio]

L'obiettivo finale è chiederti se per creare un indicatore ciclico è necessario guardare alle medie che poi non sono altro che filtri della serie storica.

L'identificazione di una certa correlazione tra medie di periodi diversi dovrebbe farci apprezzare la ciclicità.

Sbaglio o il motivo per il quale usi dati a 1min è quello di preferire delle medie ad una riduzione dei dati utilizzando dei tf più lunghi ?

Il motivo per cui ho iniziato ad usare il minuto è che adesso stò usando strumenti statistici fortemente dipendenti dalla "densità" dei dati....infatti stò sperimentando tali strumenti su frame anche minori...tutto allo scopo di creare strumenti che abbiano una validità matematicamente dimostrata e che siano però precisi nel rilevare ciò che accade sul mercato...medie certamente ma anche altro....eppoi dipende anche sempre dall'ottica con la quale si fà trading....infatti come forse hai visto la strategia che adotto è quella di contestualizzare le risultanze del grafico di dettaglio al minuto in un grafico strategico di 3mesi a 5min......chiaramente se avessi uno storico equivalente ad un minuto userei solo quello hehehe....ma visto che non cel'ho e per ora di pagarlo non sene parla, mi arrangio così e và bene lostesso.

 

[Barat]

...
O altrimenti puoi proporre altri argomenti che t'interessano dipiù...
Distribuzioni e loro tipologie, calcolo delle frequenze, forma e orientamento di distribuzioni solo per citare gli argomenti che di solito vanno per la maggiore...o altro...

saluti

Ciao bel 3D.
Sono interessato agli argomenti proposti (distribuzioni e frequenze) e sarò sicuro lettore degli aggiornamenti del 3D (già salvato nei preferiti).

Spero di fare presto delle prove su un TS in costruzione di quanto esposto sopra per vedere se riesco a creare un filtro per i falsi segnali.

 

[gio.bar]

Bel thread, ottimi argomenti.
Grazie e complimenti.

Da tempo mi punge curiosità sulla regressione sinusoidale, ma causa pressante lavoro ho cercato poco e trovato ancora meno.
Se interessa anche a qualcun altro ....



P.S. http://it.wikipedia.org/wiki/Kaizen