SE.....
La dimensione della finestra che puoi registrare è già HD e riesci/puoi registrare con quella dimensione e quindi fare l'upload su youtube con l'opzione HD, per forzare la visualizzazione dei tuoi video in HD puoi aggiungere al link usato questa stringa : "&hd=1" senza le virgolette...
Se invece usi il codice fornito per l'embed, non so se questo funziona ma puoi quasi sicuramente specificare la dimensione della finestra nelle opzioni di embed.
SE INVECE....
...hai la necessità di registrare porzioni più piccole di schermo allora la cosa si complica. La tendina per scegliere la risoluzione su youtube altro non è che l'altezza in pixel del video....quindi perdendo l'opzione HD dobbiamo trovare un formato che una volta renderizzato sia digerito da youtube in maniera soddisfacente.. e si torna alla tua ricerca iniziale... prova a registrare una porzione di video con una delle altezze fornite da youtube quindi 360 o 480 pixel....
Ma andiamo per gradi...