Totalement réhabilité en médiathèque des Sables-d’Olonne, le Manoir de la Jarrie s’inscrit dans l’histoire dès le XIIe siècle. Cette maison forte a évolué dans le temps jusqu’à être occupée par les allemands pour y installer une batterie mobile pendant la seconde guerre mondiale.
S’il y a des monuments qui n’ont pas traversé intact l’histoire, le Manoir de la Jarrie en fait bien partie. Même si la réhabilitation des bâtiments et l’extension très moderne ont été faits dans les règles de l’art, on a du mal à s’imaginer aujourd’hui une maison forte entourée de fossés. La réhabilitation a également transformé les ouvertures et les murs, ce qui parait aujourd’hui plus qu’audacieux. Les fossés avaient été cependant comblés de longue date lors de l’arrivée des allemands pendant la seconde guerre mondiale. A leur départ, ils brûlèrent toutes les archives du château.
Après les périodes troublées des IXe et Xe siècles, Guillaume le Chauve, premier prince de Talmont, élabore un plan de défense des villages et de la côte. Il fait construire des forteresses sur son territoire pour protéger les villages et en particulier dans l’un de ses plus grands fiefs, la seigneurie d’Olonne. Vassaux directs du prince de Talmont, les seigneurs de Talmont vont érigé un château fort, de taille plutôt modeste au début du XIIe siècle.
Au moment de sa construction au XIIe siècle, il s’agit d’un bâtiment plutôt modeste. La manoir évoluera au départ peu si ce n’est pour les besoins défensifs. Il sera doté d’une tour au XIVe siècle.
Au XVIIe siècle, le Manoir est totalement réaménagé et modifié. Des dépendances sont construites au XVIIIe siècle. Les nouveaux bâtiments ajoutés ces dernières années s’intègrent derrière la partie ancienne avec la création d’une médiathèque et de nouveaux locaux pour la mairie.
En 2014, des fouilles avaient été menées pour confirmer l’hypothèse que le manoir devait former un U au moment de sa construction.
