In base a vari racconti la prima moglie di Burr fu Annette Sutherland, un’attrice inglese che egli sposò nel 1941 e che si suppone sia morta nello stesso incidente aereo in cui morì l’attore Leslie Howard, quando nel giugno 1943 durante la seconda guerra mondiale l’aereo, in rotta da Lisbona a Londra, fu abbattuto dai tedeschi. La storia sulla morte della Sutherland sembra proprio essere falsa infatti c’erano solo tre donne adulte nella lista dei passeggeri su quel volo e Annette Sutherland non era tra queste.
Il secondo matrimonio di Burr , l’unico che può essere documentato, è avvenuto nel 1947 con Isabella Ward. L’unione fu annullata dopo pochi mesi.
Il nome della terza moglie di Burr è Laura Andrina Morgan, che avrebbe sposato Burr nel 1953 e sarebbe morta di cancro nel 1955.
Il figlio adottivo di Burr e Sutherland, Michael Evan Burr, si dice sia morto di leucemia all’età di dieci anni nel 1953. In un raro commento pubblico della sua vita personale, Burr disse di essersi preso del tempo per girare negli Stati Uniti col figlio negli ultimi anni della vita del ragazzo. Ma a quel tempo Burr era già un attore noto e una notizia del genere sarebbe sicuramente arrivata alla stampa. Invece non c’è nessuna traccia della nascita, dell’esistenza e della morte di quel ragazzo.
Molti dei colleghi che hanno lavorato con Burr dubitano del racconto. John Strauss, che dal 1953 curò i suoi rapporti con la stampa, disse che Burr “non menzionò mai nessuna moglie o figlio”, inoltre la sorella di Burr, Geraldine Fuller, dice che né lei, né sua madre, hanno mai visto il figlio di Burr. Nessuno degli amici di lunga data di Burr sembra avere mai incontrato nessuna delle sue mogli.
Nonostante la finta biografia e gli sforzi occasionali di ritrarre Burr sentimentalmente legato a qualche attrice, compresa Natalie Wood, gli addetti ai lavori erano a conoscenza della sua omosessualità, ma la notizia era tenuta nascosta al grande pubblico per evirare effetti disastrosi per la popolare star televisiva.
Quando iniziò la prima serie di “Perry Mason” ancora non si era spento lo scandalo dell’arresto dell’attore Tab Hunter durante una retata in un gay party. Nel 1961 Hedda Hopper, giornalista su riviste scandalistiche e madre di William Hopper, un co-protagonista in “Perrry Mason”, scrisse di aver ricevuto una lettera contenente informazioni molto compromettenti su Raymond Burr, ma che non ne avrebbe pubblicato le informazioni.
Lo scrittore Robert Hofler afferma nel suo libro del 2005 “The Man Who Invented Rock Hudson: The Pretty Boys and Dirty Deals of Henry Willson” che Burr and Rock Hudson ospitarono dei festini gay in una casa affittata a Palm Springs, California.
Attorno al 1958, Raymond Burr iniziò a convivere con l’ex attore Robert Benevides incontrato sul set di Perry Mason, essi rimasero assieme, formando una coppia nella vita e negli affari, per 35 anni sino alla morte di Burr.
Nel 1963 Burr e il suo compagno, comprarono un’isola nelle Fiji, dove essi si dedicarono al loro interesse comune, coltivare orchidee, un hobby che trasformarono in un lucroso affare.
Essi avviarono anche un allevamento di bestiame e lavorarono per migliorare le vite dei 150 residenti dell’isola, costruendo case, una chiesa e una scuola. Burr sponsorizzò la pubblicazione del primo dizionario di linguaggio Fiji e fornì anche denaro per l’istruzione dei più giovani dell’isola. Una pratica che continuò anche quando lui e Benevides vendettero l’isola nel 1983.
In contrasto con le parti da duro che spesso Burr doveva interpretare, egli era nella vita reale un uomo molto buono e generoso, che diede in beneficenza ingenti somme di denaro.