Los primeros pobladores de Castell de Castells se sitúan hace alrededor de 8000 años, según las pinturas rupestres encontradas en el santuario del Pla de Petracos.
La primera mención escrita a este lugar está en el tratado del Pouet, firmado en 1245 por el hijo mayor de Jaume I y el caudillo árabe Al-Azraq: parece citado Castell de Castells como ‘Castiel’ en el texto en valenciano y ‘Qastal’ en el texto árabe.
Para sustituir a la población musulmana por población cristiana, Castell de Castells fue entregado a la orden de Calatrava y se repobló con cristianos provenientes de otras partes de la Corona de Aragón, especialmente de Baleares.
A partir de este momento comienzan una serie de sublevaciones por parte del caudillo árabe, que conducen a una ruptura de los pactos del Pouet y a la expulsión de la mayoría de musulmanes. Su total expulsión se produjo en 1609, y la última batalla se libró en el Pla de Petracos.