Trading system: la convenzionalita' dei termini

Prendendo a raffronto l'analogia mutuata dalla meteorologia, possiamo arrivare ad una prima conclusione provvisoria riguardo i trading system.

Quanto e' attendibile un segnale previsivo di un trading system ?

Analogamente a quanto accade nella meteorologia, l'attendibiilita' di un segnale e' il rapporto tra i segnali positivi (che hanno portato ad un utile) ed il totale dei segnali generati dall'algoritmo, come si puo' vedere nell'esempio in basso nella casella Wt.
 

Allegati

  • Cattura.JPG
    Cattura.JPG
    163,4 KB · Visite: 220
Analogamente a quanto accade nella meteorologia, l'attendibiilita' di un segnale e' il rapporto tra i segnali positivi (che hanno portato ad un utile) ed il totale dei segnali generati dall'algoritmo, come si puo' vedere nell'esempio in basso nella casella Wt.

Discussione interessante..
intervengo sull'argomento per porre alcune considerazioni.
In che modo và considerata l'attendibilità di un TS? Solo in base all'attendibilità dei suoi segnali operativi? Oppure c'è dell'altro?
In base a questa definizione un sistema che riporta una % di operazioni chiuse in profitto inferiore al 50% del totale degli ordini inviati a mercato, ma che presenta comunque un fattore di profitto superiore a 2 ottenuto grazie ad un favorevole rapporto tra profitto e perdita media, sarebbe inattendibile..
 
Discussione interessante..
intervengo sull'argomento per porre alcune considerazioni.
In che modo và considerata l'attendibilità di un TS? Solo in base all'attendibilità dei suoi segnali operativi? Oppure c'è dell'altro?
In base a questa definizione un sistema che riporta una % di operazioni chiuse in profitto inferiore al 50% del totale degli ordini inviati a mercato, ma che presenta comunque un fattore di profitto superiore a 2 ottenuto grazie ad un favorevole rapporto tra profitto e perdita media, sarebbe inattendibile..

Esatto.

L'attendibilita' cosi' come e' ripresa pari pari dal concetto di attendibilita' analogo in meteorologia non puo' riguardare il trading system nella sua interezza, ma solo il singolo segnale operativo.Per l'attendibilita' del trading system in generale su tempi molto lunghi debbono essere vagliati ulteriori elementi che fino ad adesso non sono stati considerati e la cui difficolta' di inquadramento certamente esula dalle mie modeste competenze.

Il problema che mi sono inizialmente posto non era tanto stabilire un criterio ordinale di valutazione di ratio per trading system, oppure passare dal quantitativo al qualitativo come proponeva Quicksilver (magari! fosse facile trasformare la conoscenza in regole semantiche) , ma semplicemente ricordare che occorrerebbe usare un linguaggio il piu' possibile convenzionale e ripreso da altre discipline che hanno maggiore tradizione scientifica rispetto alla nostra. Sorge inoltre un ulteriore problema specifico rispetto alla meteorologia: mentre li' gli stati discreti sono pochi (piove, nuvoloso, sereno), nel campo dei trading system sono tanti ed enormemente variabili (vinco tanto, poco, perdo poco, perdo tutto)
Si puo' certamente affrontare questo aspetto specifico diverso dalla meteorologia con l'uso del cosiddetto VAR, che e' una misura di perdita entro un orizzonte temporale limitato.

Ad esempio, che grado di attendibilita' ha la previsione che domani (entro una settimana, mese, etc.) io possa perdere/vincere una cifra "x" ?

Per quanto ho potuto osservare io, uno dei trading system a piu' basso grado di attendibilita' dei propri segnali e' la media mobile a 200 giorni, che fa impazzire per il suo grande numero di entry, stop, entry, stop, che fa perdere la pazienza anche al piu' certosino dei suoi seguaci.

Eppure il fatto che la media mobile a 200 giorni produca segnali scarsamente attendibili non fa dimenticare certo le sue proprieta' :)

Ciao
 
In linea di massima sono pienamente d'accordo con te quando dici che per valutare l'attendibilità di un TS "debbono essere vagliati ulteriori elementi che fino ad adesso non sono stati considerati" , e la varianza dei suoi rendimenti è sicuramente un elemento importante che però a mio avviso và considerato come indice di rischiosità del sistema più che come indice della sua attendibilità.
Restando nei termini del problema credo che la speranza matematica di un TS possa rappresentare un buon indicatore della sua attendibilità. Ovviamente prima bisogna capirsi sul significato che vogliamo attribuire a questo termine. Per speranza matematica possiamo prendere a riferimento il valore espresso dal rendimento atteso di un sistema, che è pari alla differenza tra il totale delle operazioni in profitto e il totale delle operazioni in perdita fratto il numero degli eseguiti.
Questo valore, possibilmente espresso in punti base piuttosto che in valore percentuale, se rimane positivo anche al netto dei costi di intermediazione impliciti ed espliciti, può essere preso per un buon indice di attendibilità del TS.

Ovviamente l'attendibilità dei risultati di un'analisi non possono prescindere dalla significatività dell'analisi stessa, la cui mancanza ne invalida l'assunto di base. Questo vuol dire che pur in presenza di una speranza matematica positiva, se il campione di dati su cui vengono valutate le prestazioni di un TS risulta incompleto o insufficiente, ovvero non significativo, allora anche l'attendibilità diventa inattendibile, scusate il gioco di parole.

Per capire meglio la dipendenza dei due termini mi viene in mente l'esempio dei sondaggi. A questo scopo supponiamo che venga posta ad un campione di una determinata popolazione di individui una domanda riguardo le loro preferenze politiche. Se il campione non'è sufficientemente rappresentativo della popolazione diremo che il sondaggio non'è significativo, mentre se la domanda viene posta in modo da non essere capita bene da tutti gli intervistati diremo che il sondaggio non'è attendibile. A questo punto un sondaggio significativo può essere attendibile o non attendibile, ma un sondaggio non significativo non potrà mai essere attendibile, anche se, tornando all'esempio, la domanda è stata compresa correttamente da tutti gli individui che compongono il campione.
La stessa cosa vale per i TS.

Quindi a mio avviso condizione necessaria e sufficiente perchè si possa parlare di attendibilità di un TS è per forza quella di averne sancito prima la sua significatività. E qui vengono i problemi...
Quando un TS è significativo?
La prima cosa che viene in mente è prendere in prestito dalla statistica la misura dell'errore standard. Basandoci su questo assunto possiamo dire che l'analisi di un TS è significativa quando è stata eseguita su un numero di operazioni di compravendita sufficientemente grande da escludere che i risultati ottenti siano frutto del caso piuttosto che delle qualità del sistema stesso. Per calcolarla ci riferiamo all'errore della rilevazione, uguale all'inverso della radice quadrata del numero di operazioni eseguite dal sistema. In pratica se ad esempio il sistema viene valutato su 25 operazioni l'errore di calcolo sarà del +20%, mentre con 400 operazioni avremo un errore del +5%.

Il problema è che questo metodo non tiene assolutamente conto della frequenza operativa del sistema, ciò significa che se il sistema opera con un timeframe settimanale vi saranno pochissimi strumenti che hanno uno storico così lungo da ottenere un errore contenuto, viceversa un sistema che opera su un timeframe di 1 minuto potrebbe generare un numero di eseguiti così alto da generare un errore molto basso in una sola ottava di borsa, producendo comunque un campione scarsamente significativo.

A questo punto si torna alle valutazioni discrezionali, che come tali si affidano al buon senso dell'analista.
Ovvero si valuta il numero di eseguiti in relazione alla frequenza operativa ed alla rappresentatività dalle differenti condizioni di mercato in cui il sistema ha operato.
Ma anche in questo caso, pur trattandosi di una valutazione discrezionale, anche i gradi di libertà del sistema, ossia il numero di variabili utilizzate dalle sue regole operative, possono precludere la significatività stessa dell'analisi causa data mining o peggio overfitting...

Insomma sembra che la difficoltà di valutazione di un TS per quanto attiene la sua significatività, data l'impossibilità di stabilire dei criteri di valutazione certi ed assoluti, in una parola scientifici,si risolva in una questione di fede.. o ci credi o non ci credi, così come per tutti gli assunti dell'analisi tecnica classica.

Questo perchè qualsiasi sia l'ampiezza dei dati di analisi questi saranno sempre poco rappresentativi delle condizioni di prezzo future, ma non solo, anche gli stessi risultati potrebbero essere il frutto di un eccessivo adattamento del sistema ai dati storici (overfitting), e in ultimo anche dei risultati reali, valutati ex post e non su test eseguiti sui dati storici, possono essere sempre il frutto di una fortunata combinazione di eventi e non della bontà del sistema stesso..IMHO.

PS. Io ci credo ma opero esclusivamente attraverso TS di mia creazione.. :D
 
Ultima modifica:
aggiungo un pezzetto :

quando un TS si può dire significativo dal punto di vista statirstico?

per dire,

  • un TS basato su una serie storica di 250 dati ( un anno daily) è significativo?
  • un TS con 25.000 dati daily è significativo ( 100 anni... ma il mercato non è cambiato? cfr la volatilità, introduzione opzioni, TOL ecc)

quale è la base dati 'sufficiente' ?
o, per meglio dire, statisticamente significativa ?
 
aggiungo un pezzetto :
quando un TS si può dire significativo dal punto di vista statirstico?






per dire,
  • un TS basato su una serie storica di 250 dati ( un anno daily) è significativo?
  • un TS con 25.000 dati daily è significativo ( 100 anni... ma il mercato non è cambiato? cfr la volatilità, introduzione opzioni, TOL ecc)
quale è la base dati 'sufficiente' ? o, per meglio dire, statisticamente significativa ?

Esattamente f4f,
mi riferivo proprio a questo quando dicevo che -"qualsiasi sia l'ampiezza dei dati di analisi questi saranno sempre poco rappresentativi delle condizioni di prezzo future"-.

Infatti, come hai sottolienato bene tu, se anche si disponesse di un dataset molto ampio avrebbe comunque una scarsa significatività proprio a causa dei cambiamenti intervenuti nella struttura del mercato stesso.

Questo cambiamento deriva in larga parte dall'introduzione e dalla conseguente crescita dei volumi intermediati sul mercato da parte di strumenti molto speculativi come le opzioni, i cds o cdo, che hanno influenzato non poco il carattere (volatitilità) di molti mercati, sopratutto negli ultimi anni.

Questo cosa significa?
Significa che pur avendo a disposizione storici ampi, questi non potranno considerarsi 'significativi' proprio per la scarsa rappresentatività, o scarsa attualità se preferite, dei dati su cui viene valutato il test.
Se invece concentriamo l'analisi su un data set sufficientemente rappresentativo per caratteristiche di prezzo, magari privilegiando i dati più recenti, il test sarà inevitabilmente troppo poco rappresentativo per limitatezza del campione di dati. :wall:
 
Ultima modifica:
Infatti il problema che mi pongo sempre sollevato da Quicksilver nel secondo intervento: come si passa dal quantitativo al qualitativo ?

Metti ad esempio che in prima istanza si trovi un indice di Sharpe buono, al quale necessitano ulteriori riscontri. Trovo l'ACF sufficientemente elevata nei dati oggetto di indagine e la verifico significativa con gli appositi test, quindi avrei gia' una prima indicazione di significativita' statistica, ma non di robustezza. Cambio alcune delle condizioni iniziali - esempio shifto leggermente gli orari gli orari di entrata e di uscita - shifto leggermente le regole, etc. e poiche' lo Sharpe tiene e non si deteriora ho trovato apparentemente anche della robustezza nelle regole.
Cambio mercati, segmenti, titoli di mercato e trovo che certi fenomeni quantitativi si ripetono: a questo punto forse ho anche segnali di una maggiore attendibilita', che pero' trovo impossibile quantificare. Per me attendibilita' vuol dire che mi attendo che date le premesse (il TS si basa su regole che trovano ragioni oggettive sottostanti, funziona su piu' mercati, segmenti, azioni diverse, non ha delle soglie fisse sotto le quali le performance degradano, etc.) il TS funzionera' in futuro, salvo break strutturali di mercato.

Questo e' abitualmente il nostro percorso tipico, con varie sfumature.

Ma un metereologo come fa a definire sul giornale attendibile una previsione di pioggia al 75%, qualndo l'attendibilita' per noi e' un concetto semantico e non oggettivo e quindi misurabile? :-?

Beh anche per noi misurabile entro certi limiti.
Certo ad una presentazione istituzionale puoi presentare i dati con lo Sharpe index, con l'Omega, con Sortino, col VaR o con quello che ti pare (magari se la platea è leggermente più evoluta aggiungerei pure qualche analisi basata sulla regressione con relativa analisi dei residui), ma quello che in finanza e forse anche in metereologia non riuscirai mai ad imbrigliare è la presenza della condizione d'incertezza in cui purtroppo ti troverai sempre e per condizione d'incertezza, di rischiosità ed incertezza rimando alla nomenclatura Talebiana espressa qui:
http://www.lombardreport.com/uploads/dispense/FOOLEDBYRANDOMNESS_ITALIAN.pdf (così rispondo in parte anche alle ottime osservazioni di Gaintrap).
C'è però una cosa che accomuna la metereologia secondo me al campo previsionale espresso dai TS (almeno per i miei) , la loro attendibilità scade in in maniera esponenziale nel tempo, " fino a perdere significato dopo una decina giorni" ( fonte EPSON METEO).
Io l'ho sempre detto.

A chi mi chiede quali sono i miei migliori TS, rispondo sempre alla stessa maniera.

Quelli che si accontentano di riempire un bicchiere d'acqua nel pieno di un temporale, quando nel cielo non compare nemmeno uno squarcio di cielo sereno.
 
Ultima modifica:
Eppure il fatto che la media mobile a 200 giorni produca segnali scarsamente attendibili non fa dimenticare certo le sue proprieta' :)

Ciao

PAT, i suoi spunti sono molto interessanti e stimolanti, complimenti !
mi sfuggono però, sicuramente per mia ignoranza, le proprietà della media mobile a 200 giorni :-?
per i l resto non sono esperto nella realizzazione di TS quindi non posso entrare nella sofisticata discussione sulla loro attendibilità
vorrei però far notare - ad evitare disinformazione - che il “data mining” è una attività positiva ed utile nell’ analisi dei dati, troppo spesso confusa sui forum forse con il “data snooping” che è invece un parente stretto dell’ overfitting
se aprite un libro sul Data Mining vi troverete tra l’ altro tecniche di classificazione, di regressione e di statistical learning
 
Ottima discussione, complimenti.
Secondo me conviene fare un passo indietro, un passo lungo almeno un paio di chilometri.
Se ha un senso applicare tutta una serie di misure su dati relativi a trade reali, uscenti dallo storico di un account reale, ha già meno senso se queste info escono dal paper trading, dove non sono rappresentate tutte le varie situazioni reali di mercato, non ha senso alcuno applicare tutte le misure di cui sopra sulle performance dei classici backtesting.

Questo perché ormai è noto a tutti come sia possibile, frullando indicatori di AT a caso, creare ‘strategie’ capaci di ottenere performance mirabolanti nel passato.
Qualsiasi trader alle prime armi munito di excel e con poche nozioni di AT, così come qualsiasi econometrista munito di software matematici sofisticati e altrettanto sofisticate nozioni statistiche, è in grado di battere, in backtesting, le performance stellari del Medallion di Jim Simons negli ultimi 25 anni, però nessuno di noi preferirebbe affidare un solo euro al trader o all’econometrista, piuttosto che a Jim Simons.

Da ciò deriva che l’unica misura che abbia un senso sia quella che riesca a distinguere anche se in modo rudimentale, ex-ante (cioè prima di metterci i quattrini), lo skill di Simons da quello dell’anonimo trader. In altre parole: misurare quantitativamente l’illusorietà delle performance teoriche.
In caso contrario sarebbe come voler stimare peso e altezza degli unicorni analizzando le rappresentazioni pittoriche degli ultimi 2000 anni, senza interrogarci prima sull’esistenza dei simpatici animali.
E qui le cose si complicano maledettamente.
 
Ottima discussione, complimenti.
Secondo me conviene fare un passo indietro, un passo lungo almeno un paio di chilometri.
Se ha un senso applicare tutta una serie di misure su dati relativi a trade reali, uscenti dallo storico di un account reale, ha già meno senso se queste info escono dal paper trading, dove non sono rappresentate tutte le varie situazioni reali di mercato, non ha senso alcuno applicare tutte le misure di cui sopra sulle performance dei classici backtesting.

Questo perché ormai è noto a tutti come sia possibile, frullando indicatori di AT a caso, creare ‘strategie’ capaci di ottenere performance mirabolanti nel passato.
Qualsiasi trader alle prime armi munito di excel e con poche nozioni di AT, così come qualsiasi econometrista munito di software matematici sofisticati e altrettanto sofisticate nozioni statistiche, è in grado di battere, in backtesting, le performance stellari del Medallion di Jim Simons negli ultimi 25 anni, però nessuno di noi preferirebbe affidare un solo euro al trader o all’econometrista, piuttosto che a Jim Simons.

Da ciò deriva che l’unica misura che abbia un senso sia quella che riesca a distinguere anche se in modo rudimentale, ex-ante (cioè prima di metterci i quattrini), lo skill di Simons da quello dell’anonimo trader. In altre parole: misurare quantitativamente l’illusorietà delle performance teoriche.
In caso contrario sarebbe come voler stimare peso e altezza degli unicorni analizzando le rappresentazioni pittoriche degli ultimi 2000 anni, senza interrogarci prima sull’esistenza dei simpatici animali.
E qui le cose si complicano maledettamente.


:up: bellissimo
 

Users who are viewing this thread

Back
Alto