Dominantou Toporca je katolícky a evanjelický kostol a dva kaštiele, ktoré vybudoval známy rod Görgeyovcov pôvodom zo Saska. Prvá písomná zmienka o Toporci pochádza z 13. storočia. Obec vznikla na základe nemeckého práva a založil ju rod Görgeyovcov. Starosta obce Gustáv Pompa podotkol, že v roku 1297 existovali dva Toporce, jeden starší (Antiqua Toprich), druhý mladší (Nova Toprich), čo znamená, že už pred nemeckou kolonizáciou sa tu muselo nachádzať staršie, čiste slovenské osídlenie.
„Dedina bola nemecká a z dostupných zdrojov vieme, že život obyčajných ľudí bol veľmi ťažký. Obyvatelia obce boli poddanými Görgeyovcov a vykonávali hlavne práce na poli. Obec počas svojej existencie postihol aj hlad, choroby, ničivé požiare a ľudia v 19. storočí odchádzali za prácou do Ameriky. Do roku 1891 sa z obce vysťahovalo 133 ľudí a tento trend pokračoval až do 1. svetovej vojny,“ uviedol starosta.
Ako ďalej priblížil, prelom rokov 1944/45 podstatne zmenil život Toporca. V roku 1940 tu žilo 448 Slovákov, 348 Nemcov a 143 obyvateľov inej národnosti. V dôsledku vojnových udalostí opustili obec takmer všetci pôvodní nemeckí obyvatelia. Niektorí sa vrátili, ale svoje domy našli už obývané inými ľuďmi, alebo zapečatené či vyrabované. Okrem toho mnohí boli v roku 1946 násilne vysídlení. V obci ostali len štyri nemecké rodiny, no v súčasnosti podľa starostu nie je v Toporci žiaden Nemec.
Miesto nich prišli do Toporca obyvatelia mnohých susedných i vzdialenejších dedín. Obyvateľstvo Toporca sa po roku 1946 začalo stabilizovať a jeho vývoj mal vzostupnú tendenciu najmä od začiatkov 50. rokov, keď sa začala aj výstavba nových rodinných domov. Vzostupnú tendenciu malo najmä rómske obyvateľstvo. Dnes má obec 1976 obyvateľov, z toho 1260 tvoria Rómovia.
