Le village porte le nom d’Amand, un ermite d’origine limousine qui vivait au VI^ème siècle. Venu évangéliser la population de cette partie de la vallée du Coly, il vécut dans une grotte à proximité de laquelle se développa le village. Il est probable qu’un premier oratoire fût édifié dès cette époque. La présence d’un monastère à Saint-Amand-de-Coly, est mentionnée dans un document de la bibliothèque vaticane daté de 1048.

La construction de l’abbatiale a commencé au début du XII^ème siècle pour s’achever au début du XIII^ème siècle. Furent édifiés successivement chapelle et transept Nord, choeur, chapelle et transept Sud puis nef et portail. L’abbé Guillaume fût le premier constructeur un peu avant 1124.

Si la date de construction du château de Coly n’est pas connue, il est raisonnable de la situer à la fin du 12e siècle ; Il serait donc contemporain à la construction de l’abbatiale. Le château était le domaine de l’abbé et son fief administratif où étaient détenues les livres terriers et les archives et où il recevait les hommages qui lui était dus ; Tandis que les affaires du spirituel se réglaient à Saint-Amand, dans la salle capitulaire du monastère.

Le lointain passé de Saint-Amand fut lié à une communauté de moines, déjà établie au milieu du VI^è siècle, dans un domaine périgordin dénommé Génulicus.