Sir Roger Fiennes diberikan izin untuk membangun Herstmonceux pada 1441. Castle adalah salah satu yang paling awal dibangun dari bata dan dibangun di sebuah danau sehingga air bertindak sebagai parit besar. Castle baik yang ditunjuk di tingkat propinsi, dirancang untuk lebih nyaman daripada pertahanan. Sayangnya Kastil ini tidak terpelihara dengan baik oleh beberapa pemiliknya kemudian. Pada akhir abad ke-18 sebagian besar telah dihancurkan untuk menyediakan bahan bangunan untuk Herstmonceux tempat, lebih lanjut ke atas bukit.