El Castillo data del siglo XIV hacia el año 1338, lo mandó construir un noble Don Sancho Manuel de Villena (1320-1347), cuyo padre era Don Juan Manuel (1282-1348), el mismo que escribió su obra más importante sin duda el Libro de los enxiemplos del conde Lucanor et de Patronio (redactado entre 1325 y 1335), más conocido con el título abreviado de El conde Lucanor. Y su tío abuelo era el mismísimo Alfonso X de Castilla, llamado «el Sabio» (1221- 1284).
El Castillo después de la familia Manuel siempre había formado parte del patrimonio de los señores de Carcelén, y entre ellos su último dueño conocido fue Don Rafael Villanuesa y Cabanilles Verastegui y La Plazuela, el Conde de Casal.
El 15 de febrero 1926, Don Juan Ruiz Valverde, alcalde de la localidad y propietario del vetusto edificio, lo cedió al municipio de Carcelén.
El conjunto histórico se divide en tres zonas: la primera es el patio de armas donde se articulaban todos los elementos del castillo y se organizaba su vida interior, además está compartimentada por una muralla interior. Este patio se bautizó en el año 2007 como plaza de Don Juan José Gómez Molina, hijo predilecto de Carcelén. La segunda zona es la Torre del Homenaje, elemento simbólico, torre principal y teórica residencia del señor. Es de planta cuadrada, rematada en sus cuatro esquinas por cuatro torreones circulares. La Torre conserva un aspecto militar donde podemos observar las almenas a modo de protección y las saeteras o aspilleras, pequeños vanos defensivos estrechos y alargados que sustituían a las ventanas.
Sobre la puerta principal en un lugar visible de la torre del homenaje se sitúa una cruz aspada símbolo del patrón del municipio, San Andrés. Y en la reconstrucción de la escalera de acceso a la puerta principal se utilizó un dintel de uno de los dos hospitales con los que contaba Carcelén.
En el interior sabemos que se habilitó un espacio como cárcel o mazmorra, según los restos encontrados en su rehabilitación, actualmente la torre cuenta con tres plantas dedicadas en orden ascendente a: museo etnológico, exposición itinerante y sala dedicada a hijos destacados de la localidad. Además cuenta con un ascensor, único en la provincia de Albacete.
En la tercera zona, se encuentra una construcción anexa de planta rectangular, dos niveles y un torreón circular insertado en la retaguardia. Esta edificación tuvo multitud de usos, entre los que destacamos, dependencias municipales y escuelas.
El castillo del Conde de Casal se considera castillo-residencial y no castillo-fortaleza como otros castillos que podemos encontrar a lo largo de la rivera del rio Júcar, donde los castillos se encuentran en altura con respecto al nivel del rio.
Y para terminar comentar que Carcelén cuenta con numerosas cuevas y túneles subterráneos, todos a día de hoy tapiados o derruidos, con dos entradas en orientación este y oeste. En la primera, sabemos por fotografías antiguas de los años 20 que en una de las entradas se hallaba un torreón rectangular y presumimos que hacía de puerta de acceso de la villa junto a otro torreón anexo a él.
Además la villa de Carcelén estaba rodeada por una muralla y suponemos que estaba unida por diversos torreones más, que hacían las veces de bisagras. Esta hipótesis la podemos intuir en el escudo de armas de Carcelén.
