Las ruinas del antiguo Hospital de Misericordia se encuentran la en la base del cerro de Castillo, muy cerca de la iglesia de San Pedro.
Su origen se remonta al año 1502, o al menos así se deduce del documento que cita la iglesia de Nuestra Señora de la Misericordia, capilla del Hospital, dependiente de la parroquia de San Pedro, fundada en esa fecha. Desde entonces su labor se dedicará tanto a la curación de enfermos como al recogimiento de las personas necesitadas de la villa.

El edificio era un gran caserón, casi cuadrado, de dos plantas y cubierto a cuatro aguas, al que se adosan un ala rectangular (iglesia?), y un patio, ambos en la parte posterior.

Lo hoy conservado se circunscribe a las cimentaciones del hospital, al arco de entrada (actualmente expuesto junto al río) y a los cuatro paramentos, desprovistos de cubierta, de la posible iglesia. Sin embargo, el conjunto se encontraba en pie en la década de los 50 y así puede observarse en ciertos documentos gráficos del momento (postales y fotografías). Desde entonces la degradación ha sido muy rápida, quedando reducido a la ruina completa.

Tanto de la documentación mencionada, como de los restos aún apreciables, se puede comprobar que su fábrica estaba compuesta de ladrillos y cantos rodados unidos por una argamasa de cal y arena. La fachada, muy simétrica, se componía de dos pisos, en el inferior de los cuales se habría la portada principal, enmarcada por un arco dovelado de medio punto, centrado y flanqueado por sendas ventanas con las jambas de piedra y reja de hierro, ofreciendo todo ello un fuerte contraste entre el color blanco de la caliza y el aparejo circundante.

Sobre la dovela central (clave) del arco aparece labrado un escudo cuadrilongo redondeado, invertido, con el jefe curvado hacia abajo y la base con punta hacia arriba. En el campo la carga se dispone en posición normal, estando compuesta por una cruz de pasión, con tres clavos y la cartela INRI, alzada sobre un montículo (Gólgota) en el que se encuentran dos tibias y una calavera humanas.