Devant la façade principale du château, au pied des murs de soutènement de la basse-cour, s'étale le jardin-potager. C'est un potager vivrier, qui existe depuis le seizième siècle au moins, ainsi qu'en témoigne le récit de Michel de Montaigne, lors de sa visite à Madame de La Fayette, comtesse de Pontgibaud, en 1581.
Les potagers en creux sont une particularité de ce jardin, que l'on retrouvera, au moins cent ans plus tard, dans le potager du Roi créé par la Quintynie à Versailles. Les creux sont de profondeurs différentes pour obtenir des jardins plus ou moins chauds. L'appareillage de pierre des carrés en creux est remarquable et une nouvelle tranche de restauration est en cours.
Le jardin d'agrément comporte un petit jardin, au pied de la Tour du Chevalier, dans lequel sont disposées des caisses avec des ifs sur fonds de gazon et des rosiers grimpants le long du mur de soutènement. Sur le devant, quatre carrés de gazon bordés de buis autour d'un bassin avec jet d'eau, ajouté au XVIIIème siècle.
Un autre bassin a été placé au milieu des carrés de potager. Les trop-plein des bassins alimentent des bacs en pierre pour l'arrosage des potagers creux. Une serre est adossée au mur du jardin d'agrément au-dessus du potager.
Au nord-est du potager, s'étale au pied d'une coulée de lave, un jardin plus libre, avec des allées sinueuses, des arbres divers plantés irrégulièrement, des petits emmarchements et une terrasse fleurie avec des azalées, rhododendrons, bruyères... Promenade des créneaux.
Classé Monument Historique en 1995.
Date de création : avant 1581
Superficie : 90 ares