Au Xe siècle la butte basaltique était surmontée d’un château féodal. Au XIIIe siècle, lorsque les évêques deviennent propriétaires du château, ils font construire juste à côté une église pour la paroisse. Elle servit de lieu de culte jusqu’en 1892. En partie démolie à partir de 1900, l'église sera toutefois classée Monuments Historiques en 1981. Actuellement, une association, l’ASEV-SIT (association de sauvegarde des ruines et du site environnant) créée en 1973, exécute régulièrement des travaux de restauration pour permettre au grand public de découvrir ce site d'exception.