Farnham Castle dibina oleh Henry Blois, biskop Winchester, pada separuh pertama abad ke-12. Sedikit yang diketahui tentang castle awal ini selain ia mempunyai satu Menara, mungkin diperbuat daripada batu, di samping motte besar. Ini telah dirobohkan atas arahan daripada Henry II di 1155, tetapi penggalian arkeologi hari turunkan bawah tanah yang besar dan Menara yang asal di Pusat motte dalam perkara asas. Istana dibina di 12 lewat dan awal abad ke-13, dengan motte awal sepenuhnya dikelilingi oleh shell yang menyimpan, dan dinding luar langsir untuk dibina. Ruang antara dinding shell menyimpan dan lereng-lereng motte yang telah diisi dalam abad ke-13.