Esimene Norman castle ehitati Lydford varsti pärast vallutamist 1066; selle mullatööd jääb näha St Petrock kiriku lõuna pool. Uus torn ehitati 1195, veidi Põhja pool esialgse lossi võimaluse kasutamiseks vangla. Mingil täiesti ümberehitatud 13. sajandil. A ümber torni ja muld kuhjatakse kuni vastu i korrusel moodustada küngas oli kaevatud kraavi. Kahel korrusel on ümber väike hoida korrusel kasutati filled in parimaks vallide bailey loodes ehitati samal ajal. 18. Sajandi alguses oli lossi muutub mahajäetud, aga see on parandatud ja järgmise sajandi kätte vangi ja kohtumaja, enne mahajäetud veel kord ja lubatud jagunevad häving.