In 1679 richtten de inwoners van Houtaud een stichting op om een einde te maken aan een ziekte die hun kuddes decimeerde. Elk jaar werden op het feest van Saint-Antoine de Padoue een mis en vespers opgedragen om de inwoners te beschermen. In 1703 bouwden zij met de hulp van de Sires de Bannans (grootgrondbezitters in de streek) een kapel, gewijd aan Sint-Antoine. Er wordt gezegd dat het gezicht van zijn weldoeners op het waardevolle presentatiebord is geschilderd.
In het kader van de Conventie werd bevolen de dorpskapel te verkopen. Bij gebrek aan kopers, werd het niet verkocht. In juli 1820 deed Etienne Bourbon in zijn testament een schenking om ervoor te zorgen dat elke zondag en op de feestdag van de heilige Antonius missen werden opgedragen.
Op 4 november 1844 werd deze plaats bij koninklijk besluit uitgeroepen tot noodkapel en bleef zij verbonden aan de parochie van Dommartin. In de jaren 1845-1850 werd het een bijkerk: een prestatie voor zijn inwoners. De verering van Onze Lieve Vrouw werd in 1860 geënt op die van de heilige Antonius Kluizenaar. De Bourbonstichting ging verloren met de wet op de scheiding van Kerk en Staat in 1905, en de parochie werd weer een kapel.
De hedendaagse gele glas-in-lood ramen zijn van Jean Olin.
Bron: Les oratoires du Doubs, Paul Dieudé; seigneurie de Houtaud, Dommartin, Vuillecin, Abbé Saillard