Λευκό Κάστρο, μαζί με Skenfrith και Grosmont, είναι ένα από τρία κάστρα χτίστηκε για την προστασία σε μία από τις κύριες διαδρομές μέσα από την περιοχή των συνόρων μεταξύ Αγγλίας και Νότια Ουαλλία. Με την καθυστερημένη 1130 του King Stephen συγκέντρωσε όλα τρία κάστρα κάτω από μια ενιαία αρχοντιά που ελέγχονται τα «τρία κάστρα» ως μία αμυντική μονάδα. Με το 1180 την Λευκή κάστρο φαίνεται να έχουν το πρώτο από τα τρία κάστρα να ανοικοδομηθούν στην πέτρα. Λευκό κάστρο ήταν αρχικά ονομάζεται κάστρο Llantilio, αλλά να απέκτησε το νέο της όνομα από το άσπρο γύψο ΔΖΚ που καλύπτονται στα τοιχώματα. Στις αρχές του 13ου αιώνα Hubert de Burgh που πραγματοποιήθηκε η αρχοντιά της τα τρία κάστρα. Αυτός κατασκευάστηκε σύγχρονο πέτρινο κάστρα στις Grosmont και Skenfrith, αλλά άφησε το υπάρχον πέτρινη άμυνες σε λευκό κάστρο. Σε αντίθεση με τα άλλα δύο κάστρα λευκό κάστρο φαίνεται να έχουν κυρίως ένα στρατιωτικό φυλάκιο αντί για ένα σπίτι για μια ευγενή οικογένεια.