Même s’il est sur qu’un culte païen à la déesse-mère existait depuis longtemps, le culte de la vierge noire d’Ay est réellement attesté depuis le XIIe siècle. Une statue initiale aurait été rapportée de Syrie, peut-être par Odon de Tournon qui participa à la troisième croisade (1189-1192), sous les ordres de Frédéric Barberousse.

Elle serait alors plus ancienne que ses sœurs du Puy et de Fourvière. Elle avait le pouvoir de ramener à la vie les enfants morts sans baptême. Aucune description de cette statue n’est parvenue jusqu’à nous, et elle disparut au cours de l’incendie de 1570 pendant les guerres de religion.

Claudine de la Tour de Turenne de Tournon, à la fin du XVIe siècle fit alors tailler une nouvelle vierge, copie de la précédente au goût de l’époque : au pied de la statue figurent les armoiries de la famille de Tournon.

Elle fut épargnée à la Révolution grâce à Antoine Farigoules qui mit en lieu sûr le mobilier et les objets sacrés. En 1835, la statue fut envoyée quelques mois en réparation à Lyon puis réinstallée, le 7 septembre 1836. Elle fut classée monument historique le 19 juillet 1968. D’éminents personnages vinrent se recueillir au près le la Vierge Noire : saint Jean-François Régis, saint Jean-Marie Vianney, sainte Thérèse Couderc et Teilhard de Chardin.

Elle est en bois de chêne, haute de 75 centimètres. La Vierge porte une robe aux plis blancs et un riche manteau doublé de bleu et bordé de dessins rouges. L’Enfant Jésus est tenu sur le genou gauche de sa mère et porte un globe dans sa main gauche et bénit les fidèles de la main droite. Les cheveux sont dorés alors que les visages et les mains sont noirs. Lors des pèlerinages et des cérémonies importantes, un large manteau blanc rehaussé de riches motifs dorés, recouvre les épaules des deux personnages, alors couronnés.

Elle fut déplacée de sa position initiale, dans le chœur de l’ancienne chapelle, vers l’autel principal situé dans le nouveau chœur que fit construire Madame de la Rochette.

La tradition populaire veut que chaque année, le 8 septembre, la vierge d’Ay reçoive la visite de ses deux puissantes sœurs du Puy et de Fourvière. Ce qui est certain, c’est  qu’elles furent toute trois détruites par la bêtise humaine.

Et ce qui est certain aussi, c'est que l'éternel féminin, la grande déesse, se retrouve partout à Ay pour qui sait la voir.

Nulle part mentionnée dans les textes, mais toujours présente chez les habitants de Saint-Romain-d'Ay, l'ancienne source guérisseuse aux pieds de Marie, captée évidemment et devenue inopérante.

Rien n’atteste de la présence d’une ancienne fortification avant les romains. Ils jetèrent les bases du premier donjon de défense en -200.

Des débris de tuiles de cette époque ont été retrouvés dans les murs d’enceinte du château situé au carrefour de plusieurs voies romaines, dont la Varogne ou via Rhodani, descendant de La Louvesc à Sarras. Ce fut Aygus, fils d’Abducille chef des Allobroges à la fin du Ier siècle avant notre ère, qui s’y installa.

Le castro d’Ay prit de l’importance au fil des années et devint le siège d’un mandement au VIIIème siècle, avec à sa tête Albert d’Ay, comte de Saint-Alban, descendant d‘Aygus. Ay devint une puissante et importante seigneurie dès le IXe siècle.

Au début du XIIIe siècle, Béatrice d’Ay vendit le château à Aymar de Roussillon. Son fils Artaud suréleva le donjon jusqu’à une hauteur de 45 m en 1280.

Le château passa par mariage à la famille de Tournon en 1396, et Jacques de Tournon en 1440 y fit d’importants travaux de fortification et d’agrandissement. En 1533 Just II modifia l’ensemble en résidence.

A partir de 1641, jusqu'à la mort de Just-Louis de Tournon, il passa entre les mains de nombreux propriétaires. La Révolution épargna le site. Monsieur de la Rochette de Bobigneux hérita du domaine qui, laissé à l’abandon puis pillé, présentait un piteux état. Sa veuve, née Jeanne-Françoise de Laborie, en fera don au diocèse.

Le château comportait un triple mur d’enceinte avec archères et 4 tours de guet, trois donjons : de défense, seigneurial et de vie, un porche d’accès avec pont levis.