В самом Вильгельме происходили перемены. Наконец-то став хозяином в собственном доме, он сильно расширил свой горизонт, чему немало способствовали женитьба на фламандской принцессе и обретение надежды на английский престол. Началось медленное, но верное, осмотрительное, но неотступное вхождение в эру завоеваний. Что это было: амбиции в чистом виде? Неутолимая жажда войны? Безоглядное следование феодальным обычаям? Пожалуй, всё вместе. Возникало хитросплетение и без того сложных феодальных отношений, событий с неотвратимыми последствиями.
Конфликт вокруг Манса оказался его первой крупной неудачей. С тех пор его власть в Мэне оказалась под вопросом. Это маленькое, лишенное органичного единства княжество, представлявшее собой скопление сеньорий вокруг города Мане, в котором располагалась епископская резиденция, никогда не имело устойчивого положения среди окружавших его крупных феодальных владений. Единственным фактором, позволявшим рассматривать эти территории как единое целое, была графская династия, но и он в начале 1051 года был внезапно утрачен: граф Гуго IV скончался, оставив после себя лишь малолетних детей.
Жоффруа Мартель тут же вступил в Мане и изгнал епископа Жерве, чтобы остаться единственным господином в городе. Жерве бежал к Вильгельму Нормандскому, у которого уже находился предполагаемый наследник покойного графа, маленький Герберт И, привезенный туда вместе с его сестрой Маргаритой матерью, желавшей тем самым обеспечить их безопасность. Дабы заручиться дополнительной гарантией, она заставила мальчика принести вассальную присягу могущественному герцогу.
Жоффруа понимал, что ему надо действовать быстро. Первым делом он напал на Алансон и Домфрон, грозные крепости, находившиеся в ленной зависимости от сеньоров Беллема. Алансонцы не испытывали особых симпатий к нормандцам, больше тяготея к своим южным соседям; что же до обитателей Домфрона, то они, похоже, пребывали в состоянии вражды со своими сеньорами. Таким образом, Жоффруа верно выбрал направление атаки. Оба города открыли перед ним свои ворота.
Вильгельм отреагировал, вероятнее всего, осенью 1051 года, завершив свою эпопею с заключением брака. Исполняя перед семейством Беллем свой сеньориальный долг по оказанию помощи, он двинулся к Домфрону. Однако один нормандский барон, предатель, уцелевший на поле битвы при Валь-эс-Дюне, предупредил анжуйский гарнизон, и тот совершил вылазку. Вильгельм, захваченный врасплох и окруженный, едва не попал в плен, но сумел обратить противника в бегство, гнал его до самых стен города и приступил к осаде. Для этого он применил тактику, в целом оказавшуюся успешной при осаде Брионна: он построил четыре башни, окруженные валом и рвом. Изолировав таким образом город, он мог пока не предпринимать ничего более, просто ожидая результата осады. Он чувствовал себя до того уверенно, что отправлялся даже на охоту в окрестных лесах.
Осада продолжалась несколько месяцев. И опять, как было когда-то под Брионном, военный лагерь Вильгельма превратился в столицу герцогства, в резиденцию его двора. Как раз в то время второй сводный брат Вильгельма, Роберт, получил в управление графство Мортэн. Это графство, стратегическое значение которого наглядно демонстрировали текущие события, с момента своего основания находилось под управлением Ричардида Гильома Герланка. Однажды ему нанес визит один из его вассалов, некто по имени Роберт Бигот, сообщивший ему о своем намерении отправиться на поиски приключений и счастья в Италию. Герланк стал отговаривать его от задуманного. «Оставайся здесь, — сказал он, — не пройдет и трех месяцев, как дела в Нормандии примут иной оборот, и ты без труда сможешь разбогатеть». Была ли это простая шутка, или же назревал новый заговор среди тех, кто питал ностальгические воспоминания о добрых старых временах, когда можно было промышлять разбоем? Как бы то ни было, но Бигот отправился к Домфрону, нашел там герцога и передал ему высказывание своего сеньора. Вильгельм тут же вызвал его к себе и потребовал объяснений, но тот не сказал ничего вразумительного. Тогда его обвинили в мятеже и приговорили к конфискации имущества и к изгнанию — так ему самому пришлось отправиться на поиски счастья в Италию, из всего добра имея при себе одну только лошадь, которую герцогская юстиция оставила за ним...
Роберт, получив в феодальное владение графство Мортэн, вскоре женился на дочери Рожера де Монтгомери и Мабиль де Беллем — так на южных рубежах герцогства вассально-ленные связи были подкреплены связями родственными. Территории, переданные Роберту как раз в то время, когда он присоединил и стал контролировать Мэн, занимали большую часть лесной Нормандии и юг Котантена. Со временем Роберт еще более расширит свои владения. С тех пор он стал, наряду с графом Эврё, одним из наиболее значительных баронов герцогства, и его подпись стоит на большинстве официальных документов сразу же после подписей епископов.