Walesi kuningas Rhys ap surmaga Tewdwr 1093, Norman parun Roger de Montgomery tungisid surnud kuninga maad Edela Walesi ja väidetavalt neid ise. Tegi oma baasi Pembroke kus ta ehitada lossi kivine Niemeke Pembroke jõgi ja Monkton Pill. Roger poega kaotas lossi pärast ebaõnnestunud mässu võra ja 1138 earldom Pembroke oli loodud ja nende lossi koos antud Gilbert de Clare. Tema poeg, Richard strongbow, kasutatud Pembroke lähtepaigana Iirimaa invasiooni alusena. 1176 Surmani tal Earl Pembroke ja Striguil, Lord of Leinster ja Iirimaa Justiciar nimetused. Aga ta suri ilma meessoost troonipärija ja lossi pöördus kroon, kes jätkuvalt kasutada seda mugavaks lähtekohaks, kust jälgida royal huvides Iirimaal.