Le nom de l’ancienne commune du Château d’Olonne témoigne de la présence d’une motte castrale médiévale. Si à Brem-sur-Mer, la motte castrale se détache nettement du paysage, celle du Château d’Olonne est d’autant moins évidente à détecter qu’elle est occupée aujourd’hui par l’église Saint-Hilaire.
La notion de castrum est signalée une première fois en 1092 dans le cartulaire de l’abbaye Sainte-Croix de Talmont. La forteresse devait reprendre alors une strutucre classique organisée autour d’une tour principale ceinturée de fortifications. La motte aurait été érigée avant 1050.
Devenu « Chastel d’Aulone » au XIIe siècle, le fief entre dans les mains des Mauléon au XIIIe siècle. Les seigneurs de Talmont étendent leur domination sur la région. Erigée en baronnie, le castrum passe aux mains des Thouars au XIVe siècle. Louis XI se saisira de leurs biens avant de les transmettre à Philippe de Commines au détriment de Louis de la Trémoille. A la fin du XVe siècle, la transmission sera inversée après la mort de Louis XI.
Vers 1600, grâce à de nouvelles transmissions, il est fait mention d’un château ruiné qui expliquent la délocalisation de la résidences des seigneurs du Château d’Olonne.
La motte castrale laissée libre va être remplacée par l’église Saint Hilaire. Mais, une église devait déjà être présence derrière les murs de la forteresse depuis le XIVe siècle même si peu d’indices l’attestent.
