Na de verwoesting van het oude kasteel van Schoonhoven bij de stadsbrand van 1518 is aanvankelijk het plan om een nieuw kasteel te bouwen aan de Lek. De strategische ligging van Schoonhoven tussen Holland en Utrecht en de Gelderse oorlogen (1502-1543) leidt tot dit besluit. Het kasteel wordt echter, op de fundering na, nooit gebouwd. In 1528 krijgt keizer Karel V namelijk het gezag over beide gewesten, waardoor de grensverdediging tussen Holland en Utrecht niet meer nodig is. Het plan dat Rombouts Keldermans in 1524 heeft gemaakt voor het nieuwe kasteel wordt opgeborgen in de archieven.
