Earthworks substansial dan beberapa batu tetap dari kastil Norman awal ini, dibangun di sekitar 1170-80 oleh William de Warenne, Earl of Surrey dan kepala Justiciar untuk William sang Penakluk. Bumi besar Bank mengelilingi bailey, dan pada ujungnya motte dengan sisa-sisa tetap. Ini awalnya de Warenne pangeran ketiga hall, yang dikelilingi oleh bank ringwork sederhana. Sekitar tahun 1140, selama perang saudara pemerintahan raja Stephen, motte dibesarkan di sekitar dinding diperkuat hall yang menjadi basis untuk jauh lebih kuat, meskipun mungkin tidak pernah selesai, tetap. Ketika Raja Henry II datang tahta tetap dirubuhkan, bersama banyak benteng lain tanpa izin yang telah bermunculan di seluruh negeri selama konflik.