Počas Druhého vatikánskeho koncilu (1962 - 1965) pracoval ako odborný poradca pre vieroučné otázky. Pápež Ján Pavol II. ho 12. júla 1979 vymenoval za titulárneho arcibiskupa a generálneho tajomníka Synody biskupov. Biskupskú vysviacku prijal 15. septembra 1979 v Ríme a obrad vysvätenia vykonal pápež Ján Pavol II.
V roku 1985 sa stal prefektom Kongregácie pre evanjelizáciu národov aj kancelárom Pápežskej Urbanovej univerzity a bol vymenovaný za kardinála. Po zrieknutí sa úradu prefekta Kongregácie pre evanjelizáciu národov 9. apríla 2001 ho pápež povolal do sedemčlennej komisie kardinálov pôsobiacej vo Vatikáne a súčasne sa stal členom dozornej rady Vatikánskej banky IOR. Od 23. októbra 2001 do 1. októbra 2007 bol predsedom Pápežského komitátu pre medzinárodné eucharistické kongresy.
Na Slovensko kardinál Tomko mohol prísť až v roku 1968, ale v čase tzv. normalizácie jeho nedobrovoľné vyhnanstvo pokračovalo. Vo vlasti sa opäť objavil až v roku 1989. Jeho vystúpenie na zasadnutí pléna Slovenskej národnej rady (SNR) 21. apríla 1991 bolo historickou udalosťou.
Bohatá bola aj jeho literárna tvorba. Okrem iných diel napísal napríklad štúdiu Význam sv. Cyrila a Metoda v slovenskom katolicizme a v slovenských dejinách (1984), ktorú vydal aj v angličtine. Publikoval aj viacero kníh približujúcich jeho misijné cesty na rôznych kontinentoch. V roku 2002 mu prezident SR Rudolf Schuster udelil Rad Bieleho dvojkríža 1. stupňa.
