In 1222 kreeg de graaf van Gelre toestemming van keizer  Frederik II om een tol te vestigen op het ‘Lobede’ aan de Rijn, het huidige Lobith. Naast de oorspronkelijke ‘dikke toren’ verrees begin 14e eeuw een groots kasteel. Dit zogenaamde tolhuis werd in de late Middeleeuwen het bestuurlijke en tevens culturele centrum van het strategisch belangrijke gebied rondom de splitsing van Rijn en Waal . In het rampjaar 1672 werd het kasteel volledig verwoest. Koning Lodewijk XIV koos de Rijn bij Lobith uit om het grondgebied van De Republiek der Nederlanden binnen te vallen. Het kasteel en de daarbij gelegen toren werden door de Franse soldaten in brand gestoken. Deze ramp betekende zowel het strategische als economische einde van het Tolhuis te Lobith.