Po nástupe komunizmu bol za svoje náboženské aktivity prenasledovaný, koncom júla 1951 zatknutý a obžalovaný z vlastizrady. Vo vyšetrovacej väzbe strávil tri roky, z toho 14 mesiacov na samotke. Vystavený bol rôznym druhom psychického a fyzického mučenia, zlomili mu 12 rebier, ale nezlomili jeho vieru a presvedčenie.
V roku 1954 odsúdil Vojenský súd v Trenčíne Silvestra Krčméryho za vlastizradu na 14 rokov. Vo väzení bol celkovo 13 rokov, dva mesiace a 18 dní, z ktorých strávil desať rokov vo viacerých väzniciach a pracovných táboroch. Svoje záverečné vystúpenie na procese zakončil 24. júna 1954 pamätnými slovami: "Vy máte v rukách moc, ale my máme pravdu! Tú moc vám nezávidíme a netúžime po nej, nám stačí tá pravda! Lebo je väčšia a silnejšia ako moc!" Táto obhajoba patrí k najpôsobivejším svedectvám viery a volania po slobode svedomia, aké za železnou oponou vznikli.
Anulovať právoplatnosť odsúdenia sa podarilo Krčmérymu po páde komunistického režimu. V roku 1990 ho rehabilitoval ten istý trenčiansky vojenský súd, ktorý ho nezákonne odsúdil, a tak sa spravodlivosti dočkal až po 36 rokoch od súdneho verdiktu.
Pri príležitosti prvého pripomenutia Dňa pamiatky obetí komunistického režimu otvorili 24. júna 2021 v Košiciach prvé slovenské multimediálne Múzeum obetí komunizmu, ktoré návštevníkov pri vchode víta nápisom: Obete komunizmu nám pripravili cestu k dnešnej slobode.
