White Castle, bersama dengan Skenfrith dan Grosmont, adalah salah satu tiga buah istana yang dibangun untuk melindungi salah satu rute utama melalui wilayah perbatasan antara England dan South Wales. Di akhir 1130 Stephen raja membawa semua tiga Istana bersama di bawah kekuasaan tunggal yang dikendalikan 'Tiga Istana' sebagai satu unit defensif. Pada tahun 1180 di White Castle tampaknya menjadi yang pertama dari tiga istana yang dibangun kembali di atas batu. White Castle itu awalnya disebut Llantilio Castle, tetapi memperoleh nama baru dari render plester putih yang menutupi dinding. Di awal abad 13 Hubert de Burgh diadakan dalam kekuasaan Istana tiga. Ia membangun istana batu modern di Grosmont dan Skenfrith, tetapi meninggalkan pertahanan batu yang ada di White Castle. Tidak seperti dua Istana White Castle tampaknya telah terutama pos militer daripada rumah untuk keluarga bangsawan.