In het midden van de 18e eeuw was het een jachthuis van de heren van Anholt. Na vele eigenaarswisselingen werd het kasteel in 1823 gekocht door Dr. Johan Albert Luyken, die het schonk aan zijn zus Christina Magaetha. Zij liet het kasteel verbouwen, de gracht dempen en breidde het huis uit door middel van twee kwartcirkelvormige vleugels. In 1641 had al een grondige verbouwing plaatsgevonden waarbij een vierkant huis gebouwd werd met op iedere hoek een toren, voorzien van een uiendak. Deze originele bebouwing gaat nog grotendeels schuil in het tegenwoordige huis. De monumentale tuin is naar een ontwerp uit 1823 van J.D. Zocher jr. Met subsidie van het Prins Bernhard Cultuurfonds zal de nu verdwenen moestuin worden gerestaureerd. Daarnaast vindt algeheel herstel van Huis Landfort plaats. In de toekomst zal het Huis gaan dienen als nationaal bezoekerscentrum.