Het huidige kasteel draagt de stempel van vele verbouwingen. Het Nielder-
broek was een apart leen van het Leenhof van Befferen onder Mechelen. De
eerste gekende eigenaar was
Joost van de Perre, inwoner van Rupelmonde
(1377). Andere bezitters waren o.a.
Beatrijs Van der Bruggen (weduwe
Jan Sanders), Ridder
Jan Micault,
Jan Baptist de Tassis (Ridder, Heer van
Hemiksem en postmeester-generaal van het Duitse Rijk),
Robert van Haeften,
Maarten van Hoorne (
Martinus De Hornes, Heer van Niel en Schout van Mechelen). De laatste eigenaar van Nielderbroek was Baron
Albert Floris Marie Ghislain de Roye van Wichem. Het kasteel, daterend uit de 13e eeuw, werd in 1534 eeuw door de Tassis herbouwd naar het huidige uitzicht. Hij liet het kasteel met U-vormige plattegrond optrekken in een Italiaanse Renaissanceachtige palazzostijl. De voorgevel vertoont de typische asymmetrie met links en rechts van de hoofdingang respectievelijk drie en vier vensters. De volgende heer,
Martinus de Hornes, liet in 1654 de gevel verfraaien met sobere barok elementen, zoals de halfcirkel-vormige geveltop die in de 19de eeuw door baron
De Roye de Wichen werd ingevuld met zijn familie-wapen. Het smeedijzeren balkon bevat de initialen "O. D.", verwijzend naar
O'Donnoghue, kasteelheer begin 18de eeuw. De Zusters Annonciaden van Huldenberg richtten er een hospitaal in (1931). Thans is het kasteel omgebouwd tot een rustoord voor bejaarden (
Maria Boodschap).