Overfitting
- Creatore Discussione GiuliaP
- Data di Inizio
Imar
Forumer attivo
Secondo voi, quanto rappresentato nel jpeg allegato(warning: ho lavorato un poco con paint, ma l'ho fatto a fin di bene
... per evitare che qualcuno si concentrasse sull'albero e perdesse di vista la foresta), ...... è fitting o overfitting?Ah... saperlo.....
Siete una banda di matti inconsapevoli
..... per oggi vi lascio e vado ad ascoltare qui:http://www.investireoggi.it/forum/fryderyk-chopin-vt67376.html
Allegati
Paolo1956
Forumer attivo
Non era il punto principale, ma visto che citate addirittura black le Baron vediamolo meglio.
Nel ragionamento precedente, che tutti avete accettato, ci sono i dati, presumibilmente affetti da incertezza, e la procedura di fitting, che consiste nella ricerca di una relazione funzionale fra alcune classi di dati (le variabili indipendenti) ed altre classi: questa relazione sarà una y = f(x).
Attribuendo ad x la serie dei valori osservati spieghero' così una parte dei valori y osservati. Rimarrà fuori una differenza fra l'y osservato e l'y predetto c he ad es. misurerò col termine R square.
Se questa relazione soddisfa certe caratteristiche sull'errore, e permette con la stessa efficacia di predire una parte dei valori futuri, questa relazione verrà probabilmente adottata sinché:
- si scoprirà che alcune previsioni sono inequivocabilmente errate
- oppure qualcuno troverà una legge più complessa (o più semplice, perché no?) che diminuirà ad es. quell' R square di cui sopra.
In tutto questo dov'è l'underlying relationship?
L'underlying relationship è una quiddità di cui ci serviamo intuitivamente per far capire che la nostra legge è una approssimazione di una legge vera. Ma nessuno scenziato moderno ragionerebbe in questi termini. La legge vera è una cosa che non possiamo né conoscere né misurare, quindi dal punto di vista scientifico è come se non esistesse. Per usare un linguaggio caro al professore, la legge vera sarebbe il diavoletto di Maxwell.
Allora, se l'underlying ralationship non può essere né conosciuta né misurata, per il rasoio di Occam non può entrare in un ragionamento scientifico.
Di conseguenza, la prima riga della voce di wiki.en sull'overfitting contiene....un overfitting
Nel ragionamento precedente, che tutti avete accettato, ci sono i dati, presumibilmente affetti da incertezza, e la procedura di fitting, che consiste nella ricerca di una relazione funzionale fra alcune classi di dati (le variabili indipendenti) ed altre classi: questa relazione sarà una y = f(x).
Attribuendo ad x la serie dei valori osservati spieghero' così una parte dei valori y osservati. Rimarrà fuori una differenza fra l'y osservato e l'y predetto c he ad es. misurerò col termine R square.
Se questa relazione soddisfa certe caratteristiche sull'errore, e permette con la stessa efficacia di predire una parte dei valori futuri, questa relazione verrà probabilmente adottata sinché:
- si scoprirà che alcune previsioni sono inequivocabilmente errate
- oppure qualcuno troverà una legge più complessa (o più semplice, perché no?) che diminuirà ad es. quell' R square di cui sopra.
In tutto questo dov'è l'underlying relationship?
L'underlying relationship è una quiddità di cui ci serviamo intuitivamente per far capire che la nostra legge è una approssimazione di una legge vera. Ma nessuno scenziato moderno ragionerebbe in questi termini. La legge vera è una cosa che non possiamo né conoscere né misurare, quindi dal punto di vista scientifico è come se non esistesse. Per usare un linguaggio caro al professore, la legge vera sarebbe il diavoletto di Maxwell.
Allora, se l'underlying ralationship non può essere né conosciuta né misurata, per il rasoio di Occam non può entrare in un ragionamento scientifico.
Di conseguenza, la prima riga della voce di wiki.en sull'overfitting contiene....un overfitting
GiuliaP
The Dark Side
Io credo che l'overfitting lo stai commettendo tu cercando di invalidare una definizione tanto semplice, per non dire abbastanza autorevole: non è solo wiki en che definisce così l'overfitting, ma proprio la scienza su cui "ragionano gli scienziati moderni". Non credo che altrimenti quella definizione sarebbe sopravvissuta tanto tempo com'è sopravvissuta quella italiana
Ci sono casi "pratici" in cui addirittura l'"underlying relationship" è perfettamente conosciuta, ed affetta da rumore assolutamente trascurabile (sia di misura che interferenziale), ma si preferisce utilizzare su di essa modelli non lineari ad ottimizzazione empirica (in apprendimento) per motivi economici relizzativi e di progettazione, in funzione della tolleranza prestazionale (non vorrei arrivare qui a parlare di controllo ottimo). Anche in questi casi un minimo di overfitting è inevitabile, ma trascurabile come il rumore che lo causa.
Ribadisco che non credo possa essere tu a definire cos'è l'overfitting per difendere una tua tesi. Come già detto, faresti overfitting
Paolo1956
Forumer attivo
Giulia, non ho dubbi che tu condivida quella definizione, se è vero che, come asserisci al post #352, hai contribuito a scriverla.
Il punto è che a me lascia dei dubbi. Forse non li lascia solo a me, dato che è stato apposto il tag {clarification needed}.
Comunque si tratta di un aspetto secondario.... (forse)
Il punto è che a me lascia dei dubbi. Forse non li lascia solo a me, dato che è stato apposto il tag {clarification needed}.
Comunque si tratta di un aspetto secondario.... (forse)
Allegati
GiuliaP
The Dark Side
Ti riferisci a questo?
Potresti quotare per favore?
Perchè si da il caso che io abbia sempre consapevolmente specificato "wikipedia inglese"
Non solo: ho anche scritto io stessa la definizione!
Mi riferivo al fatto che l'ho scritta al post #1 di questo thread, non su wikipedia
Addirittura credi che io contribuisca a wiki en? Per ironia della sorte, il post #352 da te indicato segue anche così:
...Però non posso andare avanti a confutare le vostre sviste! Abbiate pietà!
Se cercate un discorso costruttivo, almeno un minimo di attenzione me la dovete
Poi, quando avrai finito con wiki, puoi provare anche con questa, più attinente al mondo della finanza, ma secondo me meno chiara (neanche questa l'ho scritta io
):Overfitting Definition | Investopedia
E sarò infine ben lieta di analizzare insieme a te la tua versione di "overfitting" (non ti chiederò neanche riferimenti bibliografici
).
Ultima modifica:
starless
Forumer attivo
grazie agli approfondimenti passati di sparless, trovi le risposte a tutte le tue domande. E ancora di più!
Giulia io ti inseguo ogni qualvolta posti e tu non mi mandi neanche un mp!
Non vorrei tornare ab ovo ma quanto scrivi a Paolo non mi torna: se il rumore da cui è afflitto il mercato è di misura oppure è interferenziale, e considerando che non vedo le fattispecie di rumore di misura proposte da Paolo ed egli stesso ne conviene, nè tu ne hai enumerate altre mi sembra, rimarrebbe il solo rumore interferenziale che altro non è che varianza non spiegata, per meglio dire non è rumore in senso stretto (elettrico) e quindi decadono i motivi riportati nella tua prima citazione per cui non si possono adattare algoritmi... per via del rumore.
oppure mi devo demoltiplicare?
GiuliaP
The Dark Side
Giulia io ti inseguo ogni qualvolta posti e tu non mi mandi neanche un mp!
Non vorrei tornare ab ovo ma quanto scrivi a Paolo non mi torna: se il rumore da cui è afflitto il mercato è di misura oppure è interferenziale, e considerando che non vedo le fattispecie di rumore di misura proposte da Paolo ed egli stesso ne conviene, nè tu ne hai enumerate altre mi sembra, rimarrebbe il solo rumore interferenziale che altro non è che varianza non spiegata, per meglio dire non è rumore in senso stretto (elettrico) e quindi decadono i motivi riportati nella tua prima citazione per cui non si possono adattare algoritmi... per via del rumore.
oppure mi devo demoltiplicare?
No, non ti demoltiplicare!
Quando parlavo di rumore di misura o interferenziale mi riferivo ad esempi pratici fisici (e non solo elettrici, ma anche meccanici, elettromeccanici, elettronici, ecc.).
Nel caso del mercato quando parliamo di "rumore" dobbiamo intendere tutta quella componente dei prezzi che oscilla assolutamente casualmente. Ovvero estranea alla "underlying relationship", cioè alle regole di mercato che tanto disperatamente cerchiamo di simulare al meglio.
P.S. Il "rumore di misura" sul mercato esiste, ma è un altro problema che non conviene mischiare in questo thread. In ogni caso non è quello a cui mi riferisco quando parlo di "rumore".
Imar
Forumer attivo
Oppure che abbiamo giudicato troppo astratto e "cavilloso" per attrarre la nostra umile e spesso ingenerosa attenzione (sorry, niente di personale).
Non c'è silenzio assenso sui forum.....
Ultima modifica:
Paolo1956
Forumer attivo
Poteva essere benissimo che PGiulia avesse collaborato a wiki en.
Io avevo interpretato così le sue parole.
Il mio discorso, o pippone che dir si voglia è astratto e cavilloso perché nelle materie scientifiche parlando a braccio si rischia di usare le parole in modo errato e si finisce per intendere cose diverse.
La questione dell'underlying relationship non era centrale, ma chissà, potrebbe diventarlo.
Quello che volevo sottolineare è che si tratta di un concetto complesso e scivoloso, anche in quelle che voi chiamate scienze deterministiche.
Quello che accade in genere è che un sistema anche semplice dipende da un numero molto alto e forse infinito di esplicative. Ma se noi abbiamo la fortuna di poter considerare praticamente costanti alcune di queste esplicative nell'esperimento, e magari altre producono effetti che sono molto piccoli nelle condizioni date, allora noi presentiamo una bella ed elegante regola che chiamiamo boriosamente legge fisica. Se poi le deviazioni da questa legge hanno la fortuna (per noi) di elidersi in media, allora diciamo che possiamo fare predizioni in base a questa legge. Siamo contenti e diamo un Nobel allo scopritore.
L'ho messa un po' sul ridere ma in buona parte è così.
Io avevo interpretato così le sue parole.
Il mio discorso, o pippone che dir si voglia è astratto e cavilloso perché nelle materie scientifiche parlando a braccio si rischia di usare le parole in modo errato e si finisce per intendere cose diverse.
La questione dell'underlying relationship non era centrale, ma chissà, potrebbe diventarlo.
Quello che volevo sottolineare è che si tratta di un concetto complesso e scivoloso, anche in quelle che voi chiamate scienze deterministiche.
Quello che accade in genere è che un sistema anche semplice dipende da un numero molto alto e forse infinito di esplicative. Ma se noi abbiamo la fortuna di poter considerare praticamente costanti alcune di queste esplicative nell'esperimento, e magari altre producono effetti che sono molto piccoli nelle condizioni date, allora noi presentiamo una bella ed elegante regola che chiamiamo boriosamente legge fisica. Se poi le deviazioni da questa legge hanno la fortuna (per noi) di elidersi in media, allora diciamo che possiamo fare predizioni in base a questa legge. Siamo contenti e diamo un Nobel allo scopritore.
L'ho messa un po' sul ridere ma in buona parte è così.
