Par un document d’archive, on sait que le château des Seigneurs de Carous existait en 1036. Il est implanté sur un éperon rocheux très abrupt dominant le ruisseau d’Albine et la superbe cascade dite « voile de la mariée ». Au 14e siècle, faute d’héritier Carous, le château passe au Seigneur de Caylus alors présent à Olargues.
A cette époque sa position en nid d’aigle, difficile d’accès, fait qu’il est jugé de plus en plus inconfortable et délaissé.
Pendant la guerre de cent ans, la grande insécurité qui règne dans le pays pousse les habitants du village à signer un accord en 1368 avec le Seigneur, prévoyant la réhabilitation et le renforcement des défenses du château, à leurs frais, en échange de pouvoir se mettre en sécurité dans l’enceinte fortifiée avec famille et biens.
Le 16e siècle voit la construction du nouveau château, situé en contrebas de l’ancien castrum, qui est alors complètement abandonné.
Le château et les ruines de l’ancien castrum sont propriété de la famille Martin depuis 1794.