Eens was Leerdam naar alle vier de windstreken door muren, water en poorten omringd. Eind 14e begin 15e eeuw kreeg Leerdam uit handen van Otto van Arkel stadsrechten. Aan de lingekant verhief zich een kasteel dat opmerkelijk genoeg niet binnen de muren gebouwd was, maar deel uit maakte van de vesting. Het kasteel met zijn torens, de muur, de bolwerk, murentorens en niet minder dan drie poorten moeten voor de reizigers over het water een fraai beeld gevormd hebben.

Hoewel kasteel en poorten in de loop der tijd verwoest of gesloopt zijn, valt met een beetje fantasie het oude silhouet op de nu gerestaureerde Zuidwal nog op te roepen.
Eén van de drie poorten was de veerpoort en één van de dingen die de tand des tijds heeft doorstaan is ’t Veerhuys, van oudsher het veer over de Linge naar Asperen.

Met de komst van de Lingebrug in 1958 raakt het Veerhuys zijn functie kwijt, maar de bedrijvigheid bleef. Met het verhuren van fietsen en steppen voor 5 centen en later als naailes atelier. Korte tijd was het Veerhuys enkel woonhuis. Totdat er in 1994 een horecavergunning op kwam en Pannenkoekenrestaurant ’t Veerhuys zijn deuren opende.

Nu uitgegroeid tot een ontmoetingsplaats voor jong en oud. Een gezellig en gemoedelijk restaurant met een zeer uitgebreide kaart. 39 stoelen binnen, 40 stoelen op een beschut en verwarmd terras en 35 stoelen op de dijk met uitzicht over de Linge.