Philips van Wassenaar bouwde het kasteel in 1315. De Hoekse inwoners van Delft staken het kasteel 38 jaar later in brand. Heer Dirk van Wassenaar herstelde het gebouw in 1387 maar in 1486 brandde het opnieuw af. Weer waren inwoners van Delft de brandstichters van het kasteel. Daarna is het waarschijnlijk herbouwd, gezien de tekening uit 1489. Arij Tetterode kocht het landgoed in of rond 1800.

Bouwman
Adrianus Tetterode is in 1731 geboren in Rijswijk en zijn beroep wordt bouwman. Dat komt hem waarschijnlijk goed van pas op het oude kasteel. Adrianus trouwt twee keer. Eerst met Maria Dirks de Jongh (geboren in Monster op 28 januari 1741 overleden Zevenhuizen 16 november 1769) en daarna op 24 november 1771 met Petronella Adriesdr Braak (geboren in Monster op 25 april 1747 overleden in Hoog en Woudt Harnasch op 10 februari 1832 - begraven in Kethel op 14 februari 1832). Haar moeder heet Adriana Ruth Leendertsdr van Gogh.

Het echtpaar Tetterode - De Jongh krijgt geen kinderen. Uit het tweede huwelijk van Arij dat in Bergschenhoek is gesloten zijn wel kinderen geboren: Dirk (17 september 1772). Hij is priester en Mary (11 september 1773). Zij trouwt in Bergschenhoek met de bouwman Johannes van der Goes in Bergschenhoek.

Adrianus laat een uitgebreid testament opmaken in Schiedam bij notaris Isaac Penning jr op `den 10e van soomermaand 1809`.
Kasteel Polderburg lag ergens in de omgeving van de huidige spoorlijn tussen Rotterdam en Delft, die in het midden van de kaart de Poldervaart kruist.