Los restos que aún se mantienen en pie sobre el montículo contiguo al casco urbano, son un mínimo remedo de la antigua fortaleza que señoreó y defendió el caserío tras el paulatino abandono del primitivo asentamiento de la Morterona y su acomodo en un lugar más próximo al río.

Las partes del castillo conservadas permiten apreciar su fábrica original compuesta de un paramento interior y otro exterior de sillería de piedra caliza con un relleno de cantos rodados con argamasa de cal y arena. Para mayor seguridad en la obra se colocaron gruesos travesaños de madera en los rellenos de esquinas y muros. También se utilizaron vigas de madera en los suelos de los diferentes pisos y como dintel de puertas y ventanas.

La fortaleza se remonta según algunos autores a época visigoda (quizás desde el reinado de Leovigildo), cuando Saldaña formaba parte de un conjunto de emplazamientos ubicados en el norte peninsular y cuya finalidad era hacer frente a las periódicas incursiones saqueadoras de los pueblos de la Cornisa Cantábrica.

El descubrimiento entre los muros de un sillar de piedra con una supuesta inscripción árabe (en el que algunos investigadores leen Elhafalyad Laba como términos alusivos al arquitecto de la construcción y el vocablo Hamamat, baños; hoy depositado en el Museo de San Pedro de Saldaña) y el hecho de que las crónicas de Alfonso III, al describir la campaña de Alfonso I del año 777, citen el saqueo de Saldaña, han llevado a otros investigadores a ubicar una fortaleza en esta villa, dado su carácter fronterizo entre musulmanes y cristianos, que con el avance de la reconquista pasaría a ser ocupada definitivamente por estos últimos.

Estas hipótesis son de difícil refrendo para fundamentar el origen del castillo medieval, mientras lo cierto es que documentalmente tenemos indicios de su existencia desde mediados del siglo X y de su posible destrucción en el 995, como fruto de la campaña organizada por el musulmán Almanzor contra el monarca leonés Vermudo II y por ende contra las fortalezas de los Condes de Saldaña, los Banu Gómez, en esta localidad y la de San Román de Entrepeñas. En este período formaría parte de un conjunto de edificaciones defensivas (junto a las de Guardo, San Román, Cervera), levantadas a partir del fenómeno repoblador y como salvaguarda de la vía que comunicaba Saldaña con La Liébana.

Estos datos vienen a reafirmar la datación al menos alto medieval de la fortaleza. Sin embargo la cuestión es saber si las actuales ruinas del castillo corresponden a aquel edificio mencionado en los documentos, si son los restos de otro levantado sobre las ruinas de uno anterior, o quizás que correspondan a una fortaleza más moderna y los restos del castillo alto medieval haya que buscarlos en un lugar distinto, tal vez en el cercano castro de la Morterona.

Con el fin de responder a estas cuestiones, en 1987 se tomaron varias muestras de las vigas de madera del paramento oriental y fueron datadas por el sistema del C-14. La muestra, una vez calibrada, dio unos límites cronológicos situados entre los años 1000-1050, planteando la posibilidad de que las actuales ruinas correspondan a la fortificación edificada ex novo en las primeras décadas del siglo XI tras ser destruida la anterior en la campaña de Almanzor del 995.

Las fechas vienen a coincidir también con las obtenidas por los escasos materiales arqueológicos recogidos en las inmediaciones del castillo y que apuntan a una ocupación del edificio entre los siglos XI al XV, destacando el papel jugado nuevamente por esta fortaleza durante los siglos XII y XIII dada su ubicación cercana a las fronteras entre el Reino de León y el de Castilla y los continuos enfrentamientos por estos territorios fronterizos entre ambos reinos.

A partir de esas fechas, la pérdida de su valor estratégico determinará su creciente deterioro, aunque están documentadas ciertas reparaciones a mediados del XVI, principios del XVII y durante el siglo XVIII. Sin embargo, desde esta última centuria parece encontrarse en pleno proceso de ruina como puede apreciarse en los grabados y documentos de la época, llegando a decretarse su demolición ya en el siglo XX, siendo subastado y aprovechado como cantera por el comprador.

De cualquier forma ya desde mucho antes sus restos habían sufrido un proceso de saqueo que afectó principalmente a la sillería de los muros. De ahí que el alzado conservado sea principalmente de núcleos de cal y canto, quedando los revestimientos de sillería exteriores reducidos al arranque de los paramentos.

La fortaleza propiamente dicha se asienta en la meseta de un cerro, arcilloso próximo al río, sobre el que se alza más de cincuenta metros. La forma triangular de este espacio (con base hacia el pueblo y vértice orientado a la Morterona) y su eje noroeste-sureste, determinarán la planta del castillo y de las fortificaciones circundantes.

En la zona del vértice se levanta la torre del homenaje, estructura de planta cuadrada con una dimensión interior de 5 metros de lado y muros que superan los 2,5 metros de espesor. Constaba de al menos tres pisos, iluminados por estrechas ventanas, simples aspilleras, sobre los que se dispondría la azotea almenada. Parece abrirse hacia el este, donde se aprecian restos de un segundo bloque regular de 6 metros de lado, con el que se une mediante dos muros paralelos que cierran entre ambos el patio de armas. En su parte oriental se sitúa el aljibe, del que restan una parte del arranque de la bóveda que lo cubría y de dos de los lados, cubiertos con abundante almagra.

Este núcleo central se encuentra protegido con un segundo recinto formado por muros de cal y canto revestidos de argamasa, que sirvió tanto de defensa como de contención de la plataforma principal. Dicha estructura conserva restos de tres cubos semicirculares junto a tramos discontinuos de los paramentos que los unía, hasta una altura de mas de 2 metros, desconociéndose la entidad original de su alzado.

Bloques aislados de este paramento, apreciables en diversas zonas de la parte alta de la ladera permiten intuir su perímetro triangular. El acceso a este recinto se realizaba por el lado del río, a través del camino que asciende desde la base del montículo, iniciándose junto a los restos de dos paramentos que parecen indicar la existencia en este lugar de la puerta principal defendida por un torreón. Dicha estructura supone tal vez la presencia de un tercer cinturón, totalmente desaparecido, que aprovecharía y reforzaría los fuertes escarpes en esta zona inicial de la ladera.

Existiera o no dicho recinto inferior, lo cierto es que dentro de su potencial perímetro se ubicaron otro u otros edificios asociados a la fortaleza, quizás el convento de San Juan o/y la Iglesia de Santa María del Castillo citados por las fuentes medievales. Esta afirmación se basa en la existencia de un contrafuerte y restos de un muro de contención, en una plataforma amesetada situada en el vértice meridional del cerro. No muy lejos se detecta la presencia de restos humanos que parecen pertenecer a una necrópolis medieval.

Todo lo conservado evidencia el carácter austero de la fortaleza, aspecto que subraya la preeminencia de su función militar sobre la residencial. Rastrear paralelos es siempre difícil en este tipo de edificios donde predomina su adaptación al medio físico en el que se asientan, sin embargo es posible apreciar cierta semejanza formal con el castillo de Vozmediano en la provincia de Zamora, fortaleza de la misma época y de estructura semejante.

Para terminar, señalar que en la vertiente oriental del cerro, en sendas terrazas a altura diferente, se abren las bocas de una serie de cuevas artificiales, en su mayor parte relacionadas con la extracción de arcillas de una tejera próxima, hoy desaparecida.

Sin embargo, alguna de ellas, dada su complejidad de planta (varias galerías con diversas estancias) y el hallazgo en su interior de ciertos materiales arqueológicos (cerámicas) con una cronología medieval, han sido consideradas por ciertos autores como viviendas rupestres modernas (algunas del nivel inferior) o como estructuras relacionadas con la fortaleza (las del nivel superior), posibles sótanos y pasadizos comunicados con ella a través de una serie de accesos hoy ocultos por el derrumbe de parte de sus estructuras.

En la actualidad las ruinas del castillo se encuentran enclavadas en una finca de titularidad privada.