Le château de Puycalvary est en partie bâti sur le rocher et domine la vallée du Boudouyssou. L'architecture de ce château de type tour-salle est le résultat de plusieurs constructions qui se sont succédé, la plus ancienne datant du 13ème siècle. Une grande partie a été construite au début du 16ème siècle et comporte 3 ailes organisées sur une cour intérieure carrée. L'aile nord avec ses tours circulaires sur les angles comporte 6 niveaux. Des modifications sont apportées aux 17ème, 18ème et 19ème siècle, et l'ensemble a été restauré à la fin du 20ème siècle.
