De kluis van Sant Josep de Pego bevindt zich in het stedelijk gebied, in Pla de la Font. Net als de andere drie hermitages in Pego, werd het een brandpunt van kerstening.
Pego werd gekenmerkt, net als de rest van de gebieden tijdens de islamitische overheersing, omdat het was verdeeld in boerderijen die afhankelijk waren van een kasteel. Naast vele andere bestaande boerderijen in Pego, bevindt zich in Atzeneta de hermitage van Sant Josep, die is gebaseerd op de moskee die daar bestond.