Ačkoli byly nalezeny římské a předchozí zbytky, populace Cullery se s muslimy rodí do historie.Název místa Cullera je španělská verze muslimského jména Qulayra nebo Qulyayra. Byly zjištěny významné náznaky, které naznačují, že populace Cullera byla pravděpodobně římská "Portum Sucrone", ačkoli je to ještě nepotvrzená hypotéza.
V roce 1235 se Jaime I. dobyvatel pokusí neúspěšně vzít zámek. Ačkoli historie zaznamenává řadu překrásných příběhů vysvětlujících důvody, proč nebylo možné vzít hrad, je pravda, že se zdá, že útočné stroje, které měl král, nestačily, ani rozsah nutný k poškození stěn hradu, takže nejvhodnější volbou bylo vyhnout se obléhání.
Dne 9. října 1238 Jaime I dobyl město Valencie, muslimské Balansiya, v papežích odevzdání muslimů je dovoleno volně opustit věci, které mohou nést a vznikla nová hranice mezi křesťany a muslimy, tato hranice bude řeka Júcar a hrad Cullera zůstanou v muslimských rukou alespoň sedm let. Jaime Nebudu dodržovat dohodu a následující rok, v roce 1239, bude Cullera dodána bez boje a mírumilovně.
V roce 1247 muslimští rebeli Al Azraq převezli zámek Cullera, ale brzy Jaime já a vojáci Vojenského řádu San Juan del Hospital vzali do zámku a definitivně vyhnali všechny muslimy z Cullery a usadili se v něm Křesťanské repavladové. V důsledku této vzpurné okupace bude hrad prakticky zničen, což přinutí jeho rekonstrukci, vymazat veškerou muslimskou estetiku s výjimkou malých vykořisťování ve věžích a zdích.