Reruntuhan kastil tua di Sherborne berasal dari awal abad ke-12, Kapan benteng dibangun untuk Roger de Caen, Uskup dari Salisbury. Dia adalah seorang yang sangat penting yang menjabat sebagai Kanselir dan kemudian justiciar untuk Raja Henry I. namun ketika Henry meninggal di sana adalah konflik atas berturut-turut, dengan putri Henry Matilda bersaing untuk takhta menentang sepupunya, Stephen. Sherborne disita oleh Stephen di 1135, dan itu tetap di tangan kerajaan sehingga pemerintahan Edward III, ketika Uskup Robert Wyville dibayar untuk mendapatkan Kastil kembali ke tangan gereja. Pada tahun 1592, Ratu Elizabeth ditransfer sewa untuk Sir Walter Raleigh. Dia punya sedikit menggunakan Istana tapi membuat penggunaan perkebunan dimana ia membangun sebuah tempat tinggal baru, Sherborne Lodge, yang sekarang membentuk bagian dari benteng Sherborne baru luar Danau di Selatan.