Verejnosť si ho obľúbila predovšetkým vďaka jeho účinkovaniu vo filme a televízii. Rad zaujímavých rolí priniesli Abrhámovi už šesťdesiate a sedemdesiate roky 20. storočia, okrem iného v snímkach Každý den odvahu, Dita Saxová, Pension pro svobodné pány, Partie krásného dragouna či Holka na zabití. V roku 1976 sa objavil v epizódnej role v komédii dvojice Smoljak-Svěrák Marečku, podejte mi pero! A s ním prišiel zásadný obrat k úsmevným snímkam.
Titulné a vďačné úlohy hral Abrhám v komédiách Guľový blesk či Vrchní, prchni!, v Menzelovej adaptácii románu Vladislava Vančuru Konec starých časů či v Žebrácké opeře.
Abrhámovou najvýraznejšou rolou z poslednej doby bola rola padlého kancelára vo filmovom debute Václava Havla Odcházení z roku 2011, ktorou si bývalý prezident splnil svoj režisérsky sen. Snímka na motívy rovnomennej Havlovej hry bola kritikou prijatá skôr rozpačito. V roku 2016 sa Abrhám objavil aj v úlohe svätého Jozefa v rozprávke Anděl Páně 2 spoločne s mnohými ďalšími hereckými hviezdami.
Abrhám sa tiež predstavil v úlohe spisovateľa a dramatika Karla Čapka v životopisnej dráme Člověk proti zkáze (1989) alebo ako slávny Jaroslav Hašek vo filme Velká cesta (1963). V roku 2020 obdržal Jozef Abrhám Cenu Thálie za celoživotné dielo.
Od roku 1976 bol ženatý s herečkou Libušou Šafránkovou a majú spolu syna Josefa. Šafránková zomrela 9. júna 2021 vo veku 68 rokov.
