Sonnir Castell Godric, a enwyd ar ôl ei berchennog, Godric Mappeston, yn gyntaf mewn dogfen dyddiedig 1101-02. Adeiladwyd Tŵr trillawr yn y 12fed ganrif Canolbarth gan ddefnyddio cerrig a ddygwyd gan afon o Forest of Dean. Ym 1204 rhoddwyd y Castell i William Marshall, Iarll Penfro. Ychwanegodd cae sgwâr gyda tŵr cornel crwn. Mae'r rhain eu hailadeiladu gan diweddarach Iarll Penfro, William de Valence, o gwbl ar ddiwedd y 13eg ganrif. Adeiladwyd waliau llen chanol a thyrau crwn anferth o dywodfaen coch y cloddiwyd o'r Graig o amgylch gwaelod y Castell a chreu ffos ddofn ar ochrau De a dwyrain. Mae tyrau y rownd ar dri o'r corneli eu hadeiladu ar seiliau sgwâr â sbarduno llyn Tal sy'n anelu at y sylfaen o graig, gan eu gwneud yn anodd i danseilio'r tyrau. Mae cornel y pedwerydd porthdy mawr sy'n gwarchod y fynedfa i'r Castell gyda phont godi, dau borthcwlis a dwy giât. Roedd'r amddiffynfeydd hyn yn ychwanegu at y William mab, Aymer, sydd yn ychwanegu barbican lled-Cylchlythyr ar ongl sgwâr i'r porthdy. Ef hefyd ychwanegu wal allanol ar ochr y Castell i'r gogledd a Gorllewin lle'r oedd llethr serth ond dim ffos.