Au centre du bourg, nous pouvons percevoir les traces nettes d’un château féodal circulaire, entouré de douves et prolongé vers le village par une basse-cour où se trouvaient les communs, entourée aussi de fossés, avec une porte et un pont donnant sur les halles.

A proximité se trouvent une source et un bois taillis.

Ce château nommé « bastille » dut être construit par les Rabaine au XIIe siècle. Il fut reconstruit en 1525 par Arthus de Vivonne et sa femme Catherine de Brémond d’Ars.

Les Tourettes sont originaires de Bretagne. Guy de Tourettes est un abbé de Sablonceaux. Son frère Arnaud, président au parlement de Bordeaux achète Pisany en 1503 à François de Pons (il est aussi seigneur de Saint-Dizant-du-Gua et de Beauregard). Cette famille a fait ériger à Saint-Pierre-de-Saintes la chapelle des Tourettes et la crypte funéraire. Son fils Denis étant mort en 1521, avant lui, Arnaud donna Pisany à son neveu Arthus de Vivonne, à condition qu’un de ses fils prenne le nom de Tourettes (ce fut Jean de Vivonne, son quatrième fils).

Jean de Vivonne naquit dans le très modeste château de Pis vers 1530. Il était le fils d’un vétéran des guerres d’Italie, et d’une dame d’honneur de la comtesse d’Angoulême. Il fut guerrier et diplomate et épousa à Rome la nièce du Pape Léon X.

Il fut le père de Catherine de Vivonne, marquise de Rambouillet, et le grand-père par conséquent de Julie d’Angennes, les deux plus célèbres « précieuses » du XVIIème siècle.

Comme militaire, il fut fait prisonnier devant Mariembourg, aux Pays-Bas, puis il participa à la campagne d’Italie, à la bataille de Dreux en 1562, à la lutte contre les Turcs devant Malte, aux combats de Jarnac et de Moncontour où il fut gravement blessé. Quoique âgé et couvert de blessures, il combattit aux côtés d’Henri IV à Arques, à Ivry et au siège de Paris. Mais il fut aussi vingt-deux ans ambassadeur, onze ans à Madrid, onze ans à Rome. En Espagne, il subit les pires avanies de Philippe II, qui faisait attendre ses audiences pendant des heures, parfois des jours, de la Cour qui était ennuyeuse et compassée, mais aussi du roi de France qui ne payait pas ses diplomates, ce qui l’obligea souvent à vendre ses biens ou à les hypothéquer.

A Rome, il dirigea quatre ambassades dont la plus importante, la troisième, ayant pour but de se faire accepter par le pape Henri IV comme nouveau roi de France, malgré son origine huguenote. Pisany y réussit parfaitement, ce qui est tout à son honneur.

En 1583, le marquis reçut le collier de l’ordre du Saint-Esprit, et la charge de gouverneur de la ville de Saintes. Il trouva un château en mauvais état et sans munitions, et dut payer de ses deniers la modeste garnison de trente soldats qui y résidaient.

En 1595, le roi lui confia la charge d’être le précepteur du Prince Henri II de Condé, que l’on considérait alors comme le successeur possible d’Henri IV. La tâche était lourde de responsabilités, et aussi de désagréments à cause du caractère de Charlotte de la Trémoille, la mère du prince, mais Pisany ne lui céda jamais.

Le roi le payait mal mais l’estimait beaucoup. C’est ainsi qu’il intervint pour défendre le marquis au cours d’un conflit, qui l’avait opposé à l’un de ses voisins. Pisany mourut d’une épidémie en 1599 à Saint-Maur-des-Fossés. Ses entrailles furent enterrées dans l’abbaye de Saint-Maur mais son corps fut embaumé, à sa demande, ramené en Saintonge et inhumé dans la quatrième chapelle droite, en entrant dans l’église Saint-Pierre.

Catherine, la célèbre Arthenice, est née à Rome en 1588. Elle fut naturalisée française en 1593. En 1600, âgée de douze ans, elle épouse Charles IId’Angennes, vidame du Mans puis marquis de Rambouillet, qui lui apporte le marquisat de Pisany. Choquée par les moeurs de la cour, elle se retira dans son hôtel de la rue Saint-Thomas-du-Louvre, où elle recevait dans la « chambre bleue » tout ce que Paris comptait de beaux esprits. Elle eut sept enfants dont, en 1607, la célèbre Julie d’Angennes, et mourut infirme en 1665.

Charles II d’Angennes, marquis de Pisany, baron de Talmont, fut maréchal de camp et ambassadeur en Espagne. Il mourut aveugle en 1652.

Léon Pompée d’Angennes, bien que bossu, fit une belle carrière militaire : il participa aux batailles de Rocroi et de Fribourg, mais fut tué à la bataille d’Allerheim, ou de Nordlinghen (1645).

Julie d’Angennes était belle mais insensible, c’est pour la conquérir que Montausier lui présenta le 1er janvier 1642 un recueil de poèmes à sa gloire, la « Guirlande de Julie » (où l’on remarque un madrigal d’Ogier de Gombaud, de Saint-Just-de-Marennes), calligraphié par le prieur du Jarry.

Julie épousa finalement Charles de Saint-Maure, duc de Montausier, qui devient ainsi seigneur de Talmont et de Pisany : lui et sa femme résidèrent à Angoulême et à Saintes, et peut-être à Pisany. En 1648, il affermit la seigneurie de Pisany et Faye pour 3 000 livres par an. Il participa activement à la Fronde en 1651 en Saintonge. En 1659 Montausier et sa femme reçoivent à Saintes le roi, la reine Anne d’Autriche et Mazarin.

Les Vivonne-Pisany furent enterrés à l’église de Saint-Pierre-de-Saintes. En 1860, quand pour abaisser le plancher, on ouvrit la crypte, on trouva les cercueils disjoints flottant sur les eaux d’infiltration. Pêle-mêle avec les planches, les ossements étaient ballotés au gré de courants souterrains.

La fille de Julie d’Angennes, Julie-Marie, née en 1647, épouse en 1664 Emmanuel de Crussol, duc d’Uzès. Le marquisat de Pisany rapporte alors 1500 livres par an en blé, foin et un peu de vin.

En 1735, François de Crussol d’Uzès vend Pisany à M. Bessier, ministre des comptes. Jean-Charles de Senecterre achète le château en 1749 et il afferme les terres au sieur Pitard. Gouverneur de la Rochelle, général, ambassadeur à Turin, gouverneur du Poitou, de l’Aunis et de la Saintonge, c’est lui qui fait construire le château de Didonne. Sa fille Marie épouse Louis de Conflans d’Armentières et est guillotinée en 1794.