Úspech však nedosiahli len veľkou drinou a talentom. Na všetkých bol veľmi tvrdý a každé zlyhanie tvrdo trestal.
Joe sa oženil s Katherine (88) v roku 1950 a aj napriek turbulentnému manželstvu vychovávali spolu 10 detí – 7 synov a 3 dcéry. Mal 25-ročnú aférku, z ktorej má ešte jednu dcéru - Joh´Vonnie Jackson (43). Tá bola dlhé roky skrývaná, pretože pochádza z mimomanželského vzťahu. No aj napriek tomu mali veľmi blízky vzťah.
Jeho snom bolo stať sa profesionálnym boxeristom, po narodení prvého dieťaťa sa však svojho sna vzdal. Chvíľu bol gitaristom málo známej bluesovej kapely The Falcons – po čase prišiel na to, že slávu môže získať s pomocou svojich detí. Uvedomil si to v momente, keď videl syna Tita (64) hrať na gitare.
Jacksonove deti nemali šancu na normálne detstvo. Po škole žiadne šantenie na dvore s kamarátmi, ale tvrdé 5-hodinové zarezávanie do neskorej noci. Ich otec stál nad nimi s opaskom alebo elektrickým káblom. „Som rád, že som bol prísny, pretože pozrite, čo som vychoval,“ povedal na margo svojej tvrdej výchovy. Zo svojich 5 synov sa rozhodol urobiť populárnu skupinu. V roku 1963 vznikli The Jackson Brothers, neskôr, keď prerazili, dostali názov The Jackson 5.
Používal hrubú silu
Talent svojich detí driloval hrubou silou. Ak náhodou pokazili nacvičenú choreografiu, neváhal a potrestal ich vetvou zo stromu. Jeho ďalším obľúbeným trestom bolo nútiť deti nosiť škvarové bloky z jednej strany záhrady na druhú.
Michael Jackson († 50) raz spomínal, ako jeho otec prišiel na to, že je citlivý na reči o veľkosti svojho nosa, tak ho začal prezývať „veľký nos“. Tu sa začali Michaelove problémy s vlastným výzorom, ktoré viedli k sérii operácií. Jeho nos bol napokon prakticky zničený. Michael mal tiež problémy s počatím detí. Príčina? Zveril sa svojim najbližším s tým, že ho otec týral a párkrát ho kopol do rozkroku, čo malo svoje následky. Jeho dcéra La Toya (62) zas prezradila, že jej otec sexuálne zneužíval jej staršiu sestru Rebbie (68). Tá to poprela, no neskôr potvrdila, že otec sa jej nevhodne dotýkal.
Kritika výchovy
Joe bol veľakrát obviňovaný z toho, že počas najväčšej slávy svojich synov tyransky trestal, no on všetky tvrdenia vždy vyvrátil. Obhajoval sa tým, že každý rodič občas buchne svoje dieťa, keď urobí niečo zlé, a že on nikdy nepotrestal svoje deti viac než ostatní.
