Sint-Elisabethsvloed
Het kasteel was nog geen dertig jaar oud toen de Sint-Elisabethsvloed van 1421 het in een ruïne veranderde. Ook de muren die waren blijven staan, moesten het uiteindelijk ontgelden. Teruggekeerde bewoners gebruikten de stenen namelijk om hun eigen woningen weer op te bouwen. In 1456 begon eindelijk de drooglegging van het gebied en daarmee ook de wederopbouw van het kasteel. Floris I van der Dussen nam het initiatief hiervoor en zijn zoon Jan V van der Dussen zette de wederopbouw voort. De toegangspoort en de onderste ronde gedeeltes van de torens zijn nog restanten van dit herstel.
Tachtigjarige Oorlog
Tijdens de Tachtigjarige Oorlog werd het kasteel in 1573 ingenomen door de Spanjaarden. Het slot was echter niet bestand tegen het geavanceerde geschut uit die tijd en uiteindelijk sloegen de Spanjaarden daarom weer op de vlucht, het kasteel in slechte toestand achterlatend.
In 1609 werd besloten tot een wapenstilstand die twaalf jaar zou duren. Baron van Gent, Walraven, greep deze periode van vrede aan om het kasteel weer in goede staat te brengen. Zo liet hij de Toscaanse zuilengalerij op de binnenplaats aanleggen, die nog steeds te bewonderen is. De aankoop van het kasteel en de verbouwing bezorgden Walraven echter zulke hoge kosten dat hij het kasteel in 1628 noodgedwongen verkocht aan de familie Van Axel.
Huwelijk
Door het huwelijk van Ida van Axel met Herman van der Schueren van Haagoort kwam deze familie in bezit van het kasteel. Eduard van der Schueren liet de bovengalerij bouwen. De familie bewoonde het kasteel echter niet; een rentmeester beheerde het bezit.
In 1863 erfde Marie Camille de Croix het kasteel van haar vader. Door haar huwelijk met Marie Auguste d'Ursel, kwam het kasteel vervolgens in handen van deze Belgische adellijke familie d'Ursel. In 1901 bood de familie het kasteel aan de kloostergemeenschap van Karmelitessen uit Moulins aan als tijdelijk onderkomen. De zusters trokken vervolgens in het kasteel. Op hun verzoek werd aan de oostzijde een kapel boven het water gebouwd met een loopbrug over de gracht. In 1920 keerden de nonnen terug naar Frankrijk, waarna het kasteel vier jaar leeg stond.
De vrouw met de zes slapers
De familie d'Ursel toonde nog maar weinig interesse in het kasteel en besloot het in 1924 te verkopen. Zo kwam de familie Suringar in bezit van het kasteel en Rolina Suringar zou de laatste bewoonster zijn. Deze opvallende persoonlijkheid liet zich 's nachts bewaken door zes mannen uit het dorp, die met dat doel de nacht op de galerij doorbrachten. Geïnspireerd door het verhaal van Rolina Suringar schreef Anton Coolen in 1953 De vrouw met de zes slapers.
Na de plotselinge dood van Rolina in 1935 werd het kasteel aangekocht door de Gemeente Dussen. Tussen 1954 en 1997 deed het dan ook dienst als gemeentehuis, maar met het opgaan van Dussen in de gemeente Werkendam verloor het kasteel deze functie. Vanaf 2013 kwam, na een erfpachtovereenkomst van 10 jaar, het kasteel in eigendom van Monumenten Fonds Brabant.