Aristokratický zámok nechal Grasalkovič postaviť v 30. rokoch 18. storočia. Od roku 1867 sa stal výletnou rezidenciou rakúskeho cisárskeho a maďarského kráľovského manželského páru Františka Jozefa I. a Alžbety, prezývanej Sissi. V rokoch 1920 a 1945 bol majetkom maďarského zemského správcu. Jeden z najpozoruhodnejších barokových komplexov 18. storočia sa rozprestiera spolu s priľahlými budovami na ploche 17-tisíc m2 a zahŕňa tiež park s rozlohou 29 hektárov.
V Komjaticiach, v sídle panstva, dal v roku 1751 nový zemepán Grasalkovič postaviť dvojpodlažný barokový kaštieľ. V roku 1875 ho nový majiteľ, barón Móric Wodianer prestaval na spôsob francúzskeho zámku v historizujúcom slohu. Pri kaštieli založil rozsiahly park po oboch stranách rieky Nitra, ktorý nadväzoval priamo na budovu. Zaujímavou stavbou bol skleník z 18. storočia, ktorého centrálna veža mala výšku 12 m. Bol umiestnený v parku a pestovali v ňom aj rôzne cudzokrajné rastliny. Žiaľ, kaštieľ na konci II. svetovej vojny vyhorel a v roku 1954 ho zbúrali.
Pre rod Grasalkovičovcov, ktorí ho vlastnili až do roku 1841, keď jeho mužská vetva Antonom III. vymrela a ich ivanský majetok vydražili, ho postavili v rokokovom slohu v 3. štvrtine 18. storočia. Kaštieľ a majetok kúpilo srbské knieža Michal Obrenovič, istý čas aj srbský panovník, ktorý v rokoch 1842 - 1858 žil v exile v Rakúsku. V Ivanke si zriadil vidiecke sídlo. Obrenovič sa v roku 1853 oženil s uhorskou šľachtičnou grófkou Júliou Hunyadyovou. V roku 1855 ho v kaštieli tajne navštívil Ľudovít Štúr, ktorý žil pod policajným dozorom v Modre.