Di piccola statura e corporatura goffa, dalla voce sgradevolmente acuta, dall'atteggiamento dimesso, Swinburne era apparentemente quanto di più lontano dall'ardimento espresso dai suoi rivoluzionari versi; per contro, aveva un'insospettabile forza fisica (fu tra l'altro il primo a scalare Culver Cliff nell'Isola di Wight). Possedeva, per giunta, un carattere altamente eccitabile, al quale si dovevano occasionali eccessi enfatici, durante i quali declamava versi a gran voce, abbandonandosi a gesti spropositati. Alcuni eccessi morbosi avuti in pubblico, per quanto molto rari, diedero a pensare che fosse
epilettico. Peggiorava il tutto il suo
alcolismo, a causa del quale molto spesso doveva essere ricondotto a casa, alle ore piccole, a forza di braccia.
Aveva pubblicato solo pochi componimenti su rivista quando diede alle stampe il poema drammatico (destinato però alla sola lettura)
Atalanta in Calydon (
1865), a cui arrise un successo eccezionale. Solo un anno dopo gli scandalosi versi di
Laus Veneris e
Poems and Ballads gli diedero fama di poeta immorale, scatenando una campagna diffamatoria secondo molti perfettamente inutile: molte delle perversioni descritte da Swinburne erano un fatto puramente letterario. Secondo altri, aveva imparato a
Eton tecniche erotiche
sadomasochiste come, in particolare, la flagellazione; e gli sono attribuite almeno due relazioni omosessuali, con
Richard Monckton Milnes, che gli fece scoprire il
De Sade, e con il viaggiatore
Richard Francis Burton. Sarebbe stato proprio
Dante Gabriel Rossetti a tentare di convertirlo all'eterosessualità facendolo incontrare con l'artista circense (poi nota come attrice, pittrice e poetessa)
Adah Menken; costei, rinunciando, avrebbe detto: "
Non riesco a fargli capire che mordere non serve a niente". Le chiacchiere sul suo conto, ben lungi dall'avvilirlo, lo spronarono ad assumere atteggiamenti sempre più provocatori, fino a lasciar correre su di sé voci che lo volevano
pederasta, e persino amante di una scimmia. Secondo
Oscar Wilde, come si è detto, nulla di tutto ciò era vero; per lui, Swinburne era solo "
un fanfarone, riguardo ai propri vizi, che ha fatto tutto il possibile per convincere il mondo della sua omosessualità e della sua bestialità quando non era né omosessuale né bestiale"