El Castillo que después fue Palacio es el monumento que más interés suscita en la población. Siembre envuelto en enigmas, misterios sin resolver y una arqueología compleja dadas las grandes reformas, abandonos y expolio que ha sufrido a lo largo de la historia.
De sus inicios sabemos poco, el caso es que desde los primeros documentos conocido de la población ya se menciona el castillo, en 1340 se refirieren a él como «mi casa fuerte». No se precisa si había restos con anterioridad, pero casi todos coincide la existencia de una fortaleza, probablemente en ruinas, antes de que la familia Altamirano de Trujillo tomaran posesión del pueblo de Orellana.
