Sono lo stesso pprllo che bazzica saltuariamente dall'altra parte.
Paolo, l'overfitting e' misurabilissimo. Infatti si puo' benissimo misurare il fatto che la goodness-of-fit out of sample si annulla o si abbassa vertiginosamente.
Cerco di spiegare anche il concetto di fittare il rumore, almeno come lo vedo io:
Abbiamo una serie:
Y = Y(X)
In generale possiamo scrivere:
Y = F(X) + epsilon(X)
Dove F e' il fenomeno ed epsilon l'errore.
Nel caso peggiore, la serie e' puro rumore:
Y = epsilon(X)
Tuttavia, in linea di principio e' sempre possibile scrivere una funzione G(X) tale che:
G(X) = epsilon(X) [su tutto l'intervallo considerato]
E quindi stimare Y come:
Y' = G(X)
Tuttavia quando andiamo a stimare Y(X+1), otterremo un errore quadratico pari a:
[Y(X + 1) - Y'(X+1)]^2 = [G(X+1) - epsilon]^2
Andando a fare l'errore quadratico medio abbiamo:
E[(G - epsilon)^2] = E[G^2] + 2E[G*epsilon] + E[epsilon]^2
Poiche' ricordando che COV(G, epsilon) = 0
E[G^2] + 2E[G*epsilon] + E[epsilon^2] = E[G^2] + 2E[epsilon]*E[G] + E[epsilon^2]
E poiche' E[epsilon] = 0
E[(G - epsilon)^2] = E[G^2] + E[epsilon^2] >= E[epsilon^2]
Cioe' ottieniamo una stima che fa peggio di una non-stima. La ragione per cui quando si usano molti parametri si rischia maggiormente l'overfitting e' che generalmente la G(X) che fitta il rumore e' una funzione piuttosto complicata. Tuttavia se studiamo a sufficienza un ampio numero di forme della G(X) con pochi parametri ed un altrettanto ampio numero di segnali di puro rumore, prima o poi sicuramente troviamo un rumore che puo' essere fittato da una G(X) semplice, per cui avere pochi parametri e' una condizione prudenziale, ma sicuramente non e' sufficiente.
