V dokumente „Fidel“ povedal, že je ťažké naplno sa venovať revolúcii a vytvoriť ideálne podmienky na dobré rodinné zázemie. Nikdy nechcel miešať politiku a osobné problémy. Aký bol teda jeho súkromý život?
Hoci Castro pochádzal z viacčlenej rodiny (mal osem súrodencov), na verejnosti sa objavoval najčastejšie so svojím najbližším spolupracovníkom, bratom Raúlom, ktorý po ňom aj prebral vedenie krajiny v roku 2006. Oženil sa celkovo dvakrát. Ešte v roku 1948 s bohatou Mirthou Díaz Balart, no manželstvo sa skončilo po 6 rokoch. Ich syn Fidelito študoval za jadrového fyzika vo vtedajšom Sovietskom zväze, neskôr stál na čele jadrového programu na Kube.
Druhé manželstvo Castrovi trvalo desaťročia. V roku 1961 si vzal o 20 rokov mladšiu Daliu Soto del Valle. Narodilo sa im až 5 detí. Neboli to však jeho jediné lásky. Castro mal viacero mimomanželských vzťahov, z ktorých má 3 nemanželské deti. Jeho nemanželská dcéra Alina Fernández Revuelta odišla v r. 1993 do USA, kde sa stala známou kritičkou politiky svojho otca.
