En 1525, el décimo señor de Fernán Núñez, Alonso Gutiérrez de los Ríos y Venegas, mandó construir la Capilla de Santa Ana en el solar de la actual ermita de la Caridad. Posteriormente, se creó el Hospital de Santa Ana en edificios anexos a la capilla.