Overfitting

[Paolo1956]

Allora, io invece vedo che qui si continua a confondere una argomentazione assolutamente attinente al discorso fatto con le polemiche gratuite a cui l'autore qui sopra linkato è abituato da altre frequentazioni.

Come gli ho già detto in privato, finchè non leggerò un suo giudizio pubblico
sulle esibizioni di ridicolo "celolunghismo" condite da insulti gratuiti di tutti i tipi cui abbiamo tutti assistito negli ultimi 3 mesi..... le sue opinioni sulle netiquette/educazione – per quanto mi riguarda - vanno direttamente nel cesto IGNORE.

Vedi Imar, io non sempre dico tutto quello che penso, ma penso sempre tutto quello che dico.

A una tua richiesta sulla nettiquette, il 10 gennaio rispondevo come da shot.

Non posso che ribadirlo. Ha un caratteraccio (almeno sul WEB) ? Si, ma... che me ne importa a me? Saranno affari di sua moglie, che l'ha sposato.

Per me si tratta di una persona che, sempre parlando degli argomenti trattati sui forum, ha mostrato la massima disponibilità.

Anzi, se un po' ne ho compreso il carattere, sono convinto che se venisse smentito nei calcoli, non ne saprebbe portare rancore.

Ciao.

 

[Paolo1956]

Tuttavia ancora non mi è chiaro con chi Paolo ce l'avesse (forse con me? ): perchè sul commento alla definizione italiana di overfitting mi sono trovata sostanzialmente d'accordo (Paolo, per quanto mi riguarda ne puoi parlare liberamente e senza peli sulla lingua ).

assolutamente non ce l'ho con nessuno. Stasera provo a ragionare con calma sulla definizione inglese.

 

[luka46]

Ma di chi è il post 35? Di Paolo?

E' uno spettacolo!

Si riferisce ad un 3D sul fol , il post non è di Paolo ma credo sia stato cancellato

 

[Imar]

Si riferisce ad un 3D sul fol , il post non è di Paolo ma credo sia stato cancellato

Comunque, era del redivivo che ha un dottorato in econometria, talmente famoso su FOL...che per tornare ha dovuto cambiare nick.

Tra l'altro - dato il pregresso - è una persona che se si esprime in quel modo... mette sicuramente Cren in una condizione di disagio psicologico.

Speriamo almeno che dall'alto della loro scienza capiscano che con i loro continui "svejate"... in pratica gli stanno dicendo che egli non è in grado di scegliere da solo le persone con cui relazionarsi.

In pratica ... gli stanno dando del b...beo.

Vedi Imar, io non sempre dico tutto quello che penso........

A una tua richiesta sulla nettiquette, il 10 gennaio rispondevo come da shot.

Paolo, lei è una persona per bene, ma sa perfettamente che nella risposta di cui ha messo lo shot lei ha eluso la domanda (anzi, le domande, perchè una era espressa, ma la seconda era implicita).
Finiamola qui, d'accordo?

 

[Paolo1956]

Oggi wiki en come sapete è oscurata.

Riprendo l'inizio della definizione di overfitting:

In statistics, overfitting[clarification needed] occurs when a statistical model describes random error or noise instead of the underlying relationship. Overfitting generally occurs when a model is excessively complex, such as having too many parameters relative to the number of observations. A model which has been overfit will generally have poor predictive performance, as it can exaggerate minor fluctuations in the data.

____________________

In statistics, overfitting[clarification needed] occurs when a statistical model describes random error or noise instead of the underlying relationship.

Sarebbe interessante avere dei commenti.

 

[Paolo1956]

Qualunque sia il mio campo di indagine, io inizialmente mi trovo di fronte a un fenomeno descritto da una serie di dati grezzi (non supportati da nessun modello).

Questi dati, sempre in generale, posso presumere siano affetti da errori di vario tipo:

- innanzitutto errori di osservazione, dovuti presumibilmente all'imperfezione dei miei mezzi di misura. Posso dire che questi dati siano stime di un vero valore, e se sono fortunato posso avere una idea dell' incertezza della stima.

Vi torna?

 

[Paolo1956]

Mi si potrebbe obbiettare che i prezzi di borsa sono noti con esattezza. Vero, ma:

- in generale sostituisco al flusso continuo una sua discretizzazione (le barre)
- altre grandezze come i volumi non sono, a quanto comunemente si dice, noti con altrettanta precisione.
- molti predittori comunemente usati presentano notevolissimi errori di stima, ad es. la produzione industriale per dirne una.

Quindi direi che la situazione precedente me la trovo sempre davanti, in un modo o nell'altro.

 

[Paolo1956]

A questo punto azzardo un fitting dei dati.

Cosa vuol dire questo? In sostanza cerco una relazione funzionale fra alcune variabili che chiamerò indipendenti, o predittori se vi piace di più, e altre, che chiamerò dipendenti. Questa relazione funzionale la cercherò in un set di funzioni note, ad es. lineare, quadratica, cubica, trigonometrica, power law, di Bessel o di che accidente mi pare.

In che modo la cerco? Posso farlo attraverso una ricerca brutale testando migliaia di regole o attraverso un insight o in altro modo.

E' importante il come la cerco? Si e no. A livello didattico sicuramente sì, a livello scientifico la mia spiegazione del perché indirizzo la ricerca in un senso o nell'altro ha chiaramente un bias psicologico, magari inconsco.

 

[Paolo1956]

In generale io potrò fittare in infiniti modi i miei dati.

In omaggio al principio di occam sceglierò (se lo trovo) un fitting il migliore possibile, dove l'espressione il migliore sottintende una relazione fra il numero dei parametri che ho usato e l'errore rispetto ai dati osservati, che potrei ad es. esprimere attraverso l'r-quadro.

Ricordiamoci che anche i dati sono afflitti da errore, quindi, anche se esitesse una legge esatta che lega le variabili x, y, z alla quantità da predire alpha, avrei comunque una differenza fra alpha predetto e alpha misurato. Solo potrei azzardare che questo tipo di errore segua certe leggi, ad es. una campana di gauss, tanto per dire.

Alla fine di tutto questo pippone, io presento il mio set di dati, la legge che ho trovato e gli errori, magari appunto separando la parte che ritengo errore di misura e una parte residua che chiamerò rumore.

A questo punto qualcuno, dopo aver verificato l'esattezza dei miei conti farà alcune cose probabilmente:

- da un lato cercherà una possibile ridondanza (overfitting) nei parametri
- valuterà la qualità degli errori per capire se esistono significatività non spiegate (underfitting)
- proporrà degli esperimenti sulle predizioni del modello per poterlo falsificare

Vi torna?

 

[Paolo1956]

Finito tutto questo pippone, una prima domanda: che cosa mai è l'underlying relationship di cui parla wiki? E' forse una riedizione della causa prima ? E' il dito di Dio che decide le leggi dell'universo?