Au XI^e siècle, c’est un ancien prieuré bénédictin relevant de Saint-Jouin-de-Marnes, en Poitou. L’église Saint-Jacques a été construite au XII^e siècle. Au Moyen Âge, elle est un relais pour les pèlerins se rendant, à pied, à Saint-Jacques-de-Compostelle.

La nef subsistante date de la fin du XII^e siècle et la charpente du milieu du XVI^e (1583). C’est dans cette église que les Clissonnais rédigèrent leur cahier de doléances en 1789.

Depuis 1967, la ville de Clisson est propriétaire de cette ancienne église. Elle veille à sa conservation, ainsi qu’à son animation (espace culturel avec une programmation annuelle). Un jardin médiéval a été aménagé à proximité en 2004.