Jozef Abrhám pochádzal z evanjelickej rodiny a detstvo prežil na Slovácku: "Lietali sme po lúkach, záhradách, lese, kúpali sa v rybníku. Zažil som tu aj vojnu, ktorú som vtedy vnímal veľmi romanticky a dobrodružne," spomínal v jednom rozhovore. Dedova tehelňa výborne prosperovala a spolupracovala na Baťových stavbách v Zlíne, kde sa Jozef 14. decembra 1939 narodil. Po maturite však nemohol kvôli kádrovému posudku na žiadnu vysokú školu. Najskôr preto pracoval v znárodnenej rodinnej tehelni, aby potom mohol vyplniť do prihlášky na Vysokú školu múzických umení v Bratislave povolanie – robotník.
Po dvoch semestroch prešiel na pražskú DAMU a vojenskú službu si odbil v pražskom Vinohradskom divadle: "Hral som s pánom Marvanom, Vojtom, Pivcom, Smolíkom, Högerom, Lukavským a Štěpánkom. To mi osud vynahradil za všetky tie problémy," povedal. V roku 1993 Abrhám so svojimi spoločníkmi znovu prevzal zreštituovanú tehelňu, v roku 2002 ju však museli zavrieť.
Po vojne dostal ponuku do Národného divadla, ale rozhodol sa pre experiment. V začínajúcom divadle na ulici V Smečkách, ktoré dostalo názov Činoherný klub, strávil celých 30 rokov. A zoznámil sa tu aj so svojou manželkou Libušou Šafránkovou.
Verejnosť si ho obľúbila predovšetkým vďaka jeho účinkovaniu vo filme a televízii. V roce 1976 se objavil v epizódnej role v komédii dvojice Smoljak-Svěrák Marečku, podejte mi pero! Nezabudnuteľnou bola aj jeho postava doktora Blažeja v seriáli Nemocnica na okraji mesta.
K svojej profesii, ktorú si vraj vybral "len z pudu sebazáchovy a číreho zúfalstva, že z neho nič nebude," prechovával veľkú pokoru. Okrem toho ho bavilo fotografovanie a hra na klavíri, mal rád jazz. V roku 2020 obdržal Cenu Thálie za celoživotné majstrovstvo v činohre.
