Le sanctuaire de Notre-Dame de l’Agenouillade a une histoire millénaire. Tout commence au Ve siècle avec l'arrivée de Saint Sever à Agde. Ce saint, probablement originaire du Moyen-Orient, créa un ermitage sur le lieu actuel de Notre-Dame de l'Agenouillade. Il y vit jusqu'à sa mort la vie simple d'un religieux.

Un jour de tempête, alors que les éléments se déchaînent avec violence et que l'on craint une submersion brutale de la ville d'Agde, les moines entourant Saint Sever se mirent à prier. Un des religieux vit alors apparaître, priant à ses côtés, la Vierge agenouillée sur un rocher face à la mer. Les flots se calmèrent aussitôt, laissant la ville d'Agde saine et sauve.

L'empreinte du genou de la Sainte Vierge resta gravée sur la roche (et est toujours visible aujourd'hui). C'est à cet endroit qu'à été construite une chapelle, pour la protéger. Elle devint rapidement un lieu de prière pour les marins.

La chapelle ainsi que l'église Notre-Dame du Grau, construite au XVIe siècle sur l'emplacement de l'ermitage de Saint Sever, devinrent un important lieu de pèlerinages. Le sanctuaire faisait partie du chemin de Saint-Jacques de Compostelle jusqu’au XIXe siècle, on raconte que le site pouvait accueillir jusqu'à 100 000 pèlerins en quelques jours !

La chapelle et l'église furent pillées pendant la Révolution, et malheureusement jusqu'au milieu du XIXe siècle. Elles ont été restaurées ces dernières décennies.

Sur la place centrale du sanctuaire se tient la Vierge du rocher, une grande statue de la Vierge agenouillée sur un rocher artificiel construit dans les années 1920.