Groot Ravenstein of huis te Geldermalsen ligt in de woonwijk die nu de Zwarte Kamp heet. Ravenstein was vroeger een statig gebouw, omgeven door grachten, waarover zich een stenen brug bevond. Voor de gracht en brug aan binnenzijde van de gracht stond een poortgebouw.
Het kasteel is in het jaar 1828 gedeeltelijk afgebroken, in die tijd zijn ook de grachten gedeeltelijk gedempt. Daarna is er op die plaats een herenhuis gebouwd, huize ”Ravenstein” geheten. We weten dat er in het begin van de 16deeeuw dhr. Herbert tot Deil en Geldermalsen met zijn vrouw Catharina Hollen woont, zij hebben een dochter die in 1594 trouwt met de kanunnik Frederik Renesse van Wulven (overleden 1603).
Anna was huwelijkskandidaat voor Jhr. Maximiliaan van der Houten (of du Bois) een zoon van Werner, de heer van Est. Hij was edelman en hoog militair, adjudant van Prins Maurits en president van de krijgsraad. Bij het sterven van haar vader is er een belofte gedaan om de relatie te stoppen. Dit heeft nogal voeten in aarde, want Maximilian heeft van alles geprobeerd Anna weer op andere gedachten te krijgen, waaronder ook een ontvoering van Anna naar Zaltbommel. Daar aangekomen komt hij tot inkeer en wordt Anna naar huis gebracht. Later trouwt Anna met Johan van Steeland. Het voorval met Anna heeft nog een staartje voor Maximiliaan want in 1614 wordt zijn infanterie van hem afgenomen door allerlei processen die Anna tegen hem heeft aangespannen. Anna en Johan krijgen waarschijnlijk geen kinderen. In 1666 wordt de heerlijkheid aan Jacob van Borselen van der Hogen verkocht. Jacob trouwt in 1651 met Maria van Varick waarvan het grafmonument in de kerk van Geldermalsen ligt. Na deze van Borselen zijn er weer verervingen naar zoon Adriaan, getrouwd met Vrouwe van Welre (Rengers) en daarvan een zoon Wilhelm, getrouwd met Mevr. van Brakel, en diens zoon Adriaan Jan die in 1772 trouwt met een Bentinck. Deze Jan van Borselen was een van de ”heren Seventien”, de dagelijkse bestuursleden van de VOC. Hij geeft in deze tijd een VOC-schip de naam ”Geldermalsen”. Het schip is in de 1986 opgedoken in de Zuid-Chinese zee en de inhoud daarvan wordt geveild. Enkele stukken zijn te vinden in het Gemeentehuis van Geldermalsen en in het Groninger Museum. Er is hierna geen nageslacht en alles wordt verkocht aan de heer van Meteren. Na wat verervingen en verkoping komt het uiteindelijk in bezit van een mevr. Van Barneveld, die trouwt met Edmund van Dam van Isselt. Het vernieuwde huis wordt in 1828 bewoond door den Heer E.W. Van Dam Van Isselt, toentertijd op 20 oktober 1841 voorzitter van de Tweede Kamer. Deze Van Dam van Isselt, wordt op 10-jarige leeftijd benoemd tot cadet-adspirant bij het korps Artillerie met admissie op ’s Lands Militaire school te Amersfoort. Zijn vader koopt hem los in juli 1808. Om niet in het Franse leger te belanden, is hij pensionaire geworden aan de Ecole Secondaire te Maastricht om daar theologie te studeren. Na een aanstelling in het leger krijgt hij eervol ontslag op 20 oktober 1814.
Nadat Napoleon van Alba terugkeert, neemt hij dienst als vrijwilliger bij de 5de compagnie jagers te paard. En zo maakt hij in 1815 de tocht naar Noord-Frankrijk mee. In 1823 wordt hij statenlid van de provincie Gelderland en in 1829 lid van de tweede kamer der staten generaal. In 1830 toen de scheiding van de zuidelijke en noordelijke Nederlanden dreigde, wordt na zijn aanbod aan de koning een compagnie vrijwillige jagers opgericht. Jagers komen uit de dorpen: Beesd, Deil, Enspijk, Tricht, Buurmalsen, Geldermalsen, Meteren, Wadenoijen, Erichem, Buren en Zoelmond. Dit corps bestaat 16 Augustus 1833 uit 10 officieren en 341 minderen en neemt hiermee deel aan de 10-daagse veldtocht. Over het wel en wee is geschreven in het boek de Jagers van Van Dam. Na ontbinding van deze compagnie, gaat hij terug in de politiek eerst als tweede kamerlid en voorzitter, daarna als eerste kamerlid. Van Dam van Isselt heeft voor de verbouwing van Ravenstein ook gewoond op kastelen te Eck en Wiel en Ophemert. Op 9 februari 1860 overlijdt hij op zijn geliefde landgoed Ravenstein. Van Dam van Isselt is begraven op de oude begraafplaats in Geldermalsen. Op 4 april 1916 wordt het gebouw publiek verkocht en een jaar later gesloopt.
