Van het kasteel uit de 12e eeuw is vandaag nog slechts één van de vier oorspronkelijke torens over. Het oorspronkelijke kasteel en zijn bijgebouwen besloegen een oppervlakte van 4 hectare. Binnen waren er nog 3 andere gebouwen, een vestingmuur, een duiventil, een grote fontein en 2 kapellen, waaronder die van Notre Dame de L'Isle die nog steeds op deze plaats staat.
Het kasteel zou in 1637 zijn afgebrand, tegelijk met het dorp. De overgebleven toren van het kasteel werd vervolgens op verschillende manieren gebruikt: in de 19e eeuw werd hij gebruikt als gevangenis, terwijl hij in de 20e eeuw lange tijd als woning werd gebruikt.