Ten sa v minulosti využíval ako letné sídlo ostrihomských arcibiskupov či bystrických biskupov. Po 2 rokoch verejnosti sprístupnili časť objektu z prvej polovice 17. storočia.
Kaštieľ bol donedávna v súkromnom vlastníctve a slúžil pre potreby strednej školy. Mesto ho kúpilo v roku 2018 a začalo s postupnou rekonštrukciou. Ako prvé sa otvorenia dočkali miestnosti, ktoré pripomínajú jeho históriu. Presťahovali sem i Pamätnú izbu biskupa Štefana Moyzesa. Tá predstavuje život národného buditeľa a prvého predsedu Matice slovenskej vďaka zbierke osobných vecí, literárneho diela či korešpondencie.
S kaštieľom majú pritom ďalšie smelé plány. Na mestské akcie a prípadné sobáše chcú využívať biskupskú sálu a v najbližšom období sem presťahujú aj Galériu Jula Považana. Sídliť tu budú aj časť miestnej základnej umeleckej školy, materské centrum Úlik či nový domov pre seniorov, ktorý vznikne prestavbou jeho prístavby. „Verím, že kaštieľ bude v krátkom čase žiť v interiéri celý,“ skonštatoval primátor Peter Antal s tým, že v spodných priestoroch s presahom do priľahlého parku by chceli otvoriť cukráreň.
