L’abbaye fut fondée en 780 par le moine Anian. Le comte Milo de Narbonne lui fit don de la « villa Bufentis » et de son domaine ainsi que de la haute vallée de l’Argent-Double jusqu’à sa source. Anian y fonda un monastère dédié aux saints Pierre et Paul.
Le monastère de Caunes demeurait un établissement modeste, puisqu’il ne devait aucun cens en argent à l’empereur en retour de sa protection, mais seulement des prières. De plus, elle ne possédait pas de reliques, ces corps saints dont la présence était un gage d’expansion matérielle et religieuse.
En 982, on mentionna pour la première fois la découverte de tombes par des paysans, hors de l’enceinte du vieux village, dans un champ proche de la rivière. Les moines informés déclarèrent qu’il s’agissait de martyrs de la période romaine. C’est le début du culte des reliques des quatre saints martyrs de Caunes : Amans, Luce, Audalde et Alexandre. Saint Genès, patron de l'ancienne paroisse du village, les rejoindra après la Révolution.
