In de 10e eeuw (974), het eerste spoor van een versterkt huis dat de top van het dorp bezet, waarschijnlijk op Gallo-Romeinse overblijfselen. (Toren)
In de 13e eeuw werd het omgevormd tot een kasteel voor militaire doeleinden en als residentie.
Het besloeg een vierhoek van 60 bij 43 meter en werd verdedigd door acht torens, waarvan er een als ingang naar het zuiden diende. Het werd in het zuiden beschermd door een gracht en een ophaalbrug, en in het noorden door een in de rots gegraven gracht, die nu als weg wordt gebruikt.
De graven van Savoye hebben er in de loop der eeuwen verschillende malen gelogeerd (1297, Amédée V en Sybille de Bâgé verbleven in Treffort met 363 paarden - 1316 & 1319, bezoek van de graaf en gravin van Savoye vergezeld van 244 paarden).

Zie "Ingang van het kasteel": Katapultkogel. In 1468 vielen de troepen van Jean de Viennois Treffort aan (de uit steenblokken gehakte kanonskogels van 30 tot 40 kg werden in de Middeleeuwen gebruikt bij de artillerie).

Omgevormd tot steengroeve, werd het teruggekocht en gedeeltelijk herbouwd door Tony Ferret, departementaal architect van de Franse monumenten (eind 19e eeuw, begin 20e eeuw).
In het hele dorp zijn talrijke hergebruiken te zien.

"Tegels in lood: in Meillonnas werden 25.000 tegels gemaakt voor de kastelen van Treffort en Orgelet.

Vestingstad
Aan het begin van de Savoyardische periode was Treffort voorzien van vestingmuren waarvan nog enkele overblijfselen te zien zijn. Ze waren doorboord met ten minste zes poorten en voorzien van meer dan dertig torens.