De collegiale kerk Saint Hippolyte kan het hele jaar door overdag worden bezocht. De kerk herbergt een mooie collectie 15e-eeuwse Bourgondische beelden (Onderwijs van de Maagd, Sint Jacobus, een Maagd van de Stichter) van beroemde beeldhouwers zoals Claus de Werve. Sommige van deze beelden zijn kopieën, terwijl de originelen te zien zijn in het Louvre of het Metropolitan Museum of Art (MET) in New York. De geschiedenis van de Maagd en het Kind is ook de moeite waard om te ontdekken.
De collegiale kerk herbergt ook twee Cavaillé-Coll orgels tegenover elkaar, een 15e-eeuws Passie-altaarstuk en een Calvarieberg op een oksaal. De geschiedenis van Poligny wordt binnen gedeeltelijk verteld dankzij de vele glas-in-loodramen die door Lucien Bégule zelf of door zijn atelier zijn gemaakt. Ze dateren uit de 19e eeuw. Het opmerkelijke glas-in-loodraam dat de terugkeer van de relikwieën van Saint Colette uitbeeldt, is een van de ramen die het leven van deze heilige beschrijven, die zo belangrijk was voor de inwoners van Poligny.
Naast de pure, sobere architectuur is de collegiale kerk ook een bezoek waard vanwege het meubilair.