Hierboven een afbeelding van het slot te Well, gebouwd door Nicolaas van Malsen een van de leenmannen van de Burcht van Malsen. Van de burcht van Malsen zelf is geen afbeelding bekend.
Door archeologisch onderzoek is een tufstenen muur met een gracht ontdekt. Die wordt in verband gebracht met andere gevonden sporen in dit gebied. Waarin een min of meer vierkant eiland afgebakend kan worden. Het vermoeden is dat hier in de hoge middeleeuwen (1000 tot 1250) een burcht heeft gestaan. Met radarapparatuur is 2,6 meter de grond in gemeten en verder archeologisch onderzoek leverde nog meer gegevens op:
een op een zandrug gelegen burchtterrein met een omvang van 85 bij 97 meter, ommuurd door een 3 meter dikke tufstenen muur met daarom een gracht van 20 á 25 meter breed. Wanneer we het marktplein in Geldermalsen oplopen en naar de Kerkstraat/Korte Kerstraat kijken, zien we duidelijk het verhoogde terrein. Ook is de bijna haakse bocht te zien wat duidt op een van de hoeken van het vierkant.
Graaf Everhard van Teisterbant heeft in 1070 als opvolger Herman van Malsen, de heer van Malsen. Zijn zoon Hendrik volgt hem in 1090 op. Deze Hendrik wordt tevens de eerste heer van Cuijk, een door de keizer toegekend rijksleen. Zijn zoon Hendrik II van Malsen wordt stadsgraaf te Utrecht. Zijn oudere broer Godfried wordt door zijn huwelijk rond 1129, graaf van Arnsberg. In 1108 overlijdt hun vader Herman II. De broers zijn minderjarig en zij worden vermoedelijk door de broer van Herman en Godfried, Andreas die priester is te Luik, opgevoed. Van 1121 tot 1126 gebruiken de broers de naam Van Malsen. In 1128 wordt hun oom Andreas bisschop van Utrecht. Herman, Godfried en hun moeder Alveradis stichten in 1129 het klooster Mariënwaerdt bij Beesd. De achternaam Van Malsen wordt door Herman in het jaar 1139 voor het laatst gebruikt. Godfried gebruikt de naam graaf van Arnsberg. De heren Van Malsen/Van Kuyc met hun stamgoederen hier in het gebied en als gelijken van de grafelijke geslachten in hun tijd, hebben hoog aanzien omdat zij veelvuldig als getuigen voor de Duitse koning Hendrik V en zijn opvolgers fungeren. Zo kunnen zij het bolwerk aan de Linge behouden. De Linge was toentertijd een belangrijke watergang.
Rond 1133-1135 is de Burcht verwoest en niet herbouwd. De aanleiding is vermoedelijk een conflict tussen de broers Van Kuyc en graaf Dirk VI van Holland en diens jongere broer Floris (bijgenaamd: de zwarte). Rond 1132 laat deze Floris zijn oogje vallen op Heylwig, de dochter van de overleden Arnold van Rode en Aleydis van Kuyc. Oom Herman was haar voogd. Zij weigert op het huwelijksaanzoek van Floris in te gaan. Het weigeren van het huwelijksaanzoek betekent dat Floris met een legertje in de aanval gaat. Hij verbrandt daarbij Lexmond waar de bisschop van Utrecht regeert.
De broers Herman en Godfried doen daarop een tegenaanval en doden in 1133 Floris. De dood van Floris zorgt voor tumult. De moeder van Floris is een zuster van Keizer Lotharius, die zich persoonlijk met de kwestie gaat bemoeien. De vader van Floris, graaf Dirk van Holland verwoest het kasteel van Cuijk. Godfried en Herman worden verbannen naar hun Salische goederen (voorvaderlijke stamgoederen). Hoogstwaarschijnlijk is in 1133 ook de Burcht bij Geldermalsen verwoest. Na overlijden van Keizer Lotharius verzoenen de broers zich met Dirk van Holland. Ze worden leenman van Holland door het bezit aan de graaf van Holland over te dragen. Daarnaast raken de broers bezittingen kwijt aan Otto IV van Bentheim. Dit is de zoon van Dirk van Holland die trouwt met Alveradis de oudste dochter van Godfried van Kuijk van Malsen. Het vermoeden is dat de huidige zaalkerk uit 1200 gebouwd is van tufsteen afkomstig van de burcht. Tevens is bij gebruik van de aanleg van de dijk vermoedelijk gebruik gemaakt van de verhoging van de burcht. Dit zou de bijna haakse bocht in de Kerkstraat/Korte Kerkstraat kunnen verklaren.
In 1275/76 moet Geldermalsen een tijdlang Burchmalsen zijn genoemd. Of dit later Buurmalsen is geworden, weten we niet.
