Тогда, увидев, что третья атака штурмовых колонн увенчалась успехом, полковник Бернхем двинул вперед и свою боевую линию. Уже не встречая сопротивления, он поднялся на гребень высот Мари и водрузил там флаг Соединенных Штатов.
Эрли пришлось отдать распоряжение об общем отступлении. Все его части в полном порядке, без малейшего признака паники покинули окрестности Фредериксберга и двинулись на соединение с армией. К дивизии не примкнула лишь бригада Уилкокса, который решил занять фланговую позицию к северу от дороги на Чанселорсвилл и потревожить оттуда левое крыло федералов. С этой целью он направил свою бригаду к броду Бенкс и расположил ее в районе церкви Салем Черч.
Когда высоты Мари были наконец взяты северянами, часы на башне фредериксбергского собора еще не пробили и полудня. День только начинался, и у 6-го корпуса Потомакской армии было по крайней мере часов десять, чтобы благополучно соединиться с Хукером. Однако методичность Седжвика вновь оказала ему дурную услугу: он непременно хотел, чтобы впереди шла именно дивизия Брукса, и на ее переброску были затрачены еще три драгоценных часа. Лишь около трех пополудни 6-й корпус покинул окрестности полуразрушенного Фредериксберга и в соответствии с приказом Хукера выступил на Чанселорсвилл.
Меж тем Уилкокс, не пожелавший уходить, не хлопнув на прощание дверью, уже поджидал северян у Салем Черч. Позиция бригады была довольно сильной, и Уилкокс мог рассчитывать если не на отражение атаки всего 6-го корпуса, то хотя бы на то, чтобы продержаться до подхода подкреплений от генерала Ли.
Последний уже получил к тому времени сообщение об успехах Седжвика и принял эту новость как всегда невозмутимо, спрятав разочарование под маской своего обычного величавого спокойствия. Отложив нанесение решительного удара по деморализованному Хукеру, Ли переключил свое внимание на угрожавший ему с тыла 6-й корпус. Он верно рассудил, что после кровопролитного утреннего боя враг вряд ли осмелится контратаковать, и, ничем особенно не рискуя, направил навстречу Седжвику дивизию Мак-Лоуза.
Эта дивизия выступила в поход по частям, по мере того как входившие в нее бригады сворачивались в колонны и покидали боевые линии.
Пока они совершали свой марш по узким лесным дорогам, бригада Уилкокса уже успела вступить в бой. В районе 5 часов вечера стрелки Брукса наткнулись на застрельщиков конфедератов, и первые винтовочные выстрелы возвестили начало боя у Салем Черч. Вскоре на выручку стрелковой цепи подошли основные силы дивизии в боевом порядке, и Уилкокс приказал своим «егерям» отойти к опушке леса. Брукс немедленно бросил свою линию в атаку. На его правом фланге на южан обрушился полковник Браун с бригадой из Нью-Джерси, а к югу от него вперед пошла бригада генерала Барлетта. Дивизия Ньютона также получила приказ развернуться в боевую линию, но узость дороги сильно замедлила выполнение этого маневра.
Тем временем атака северян началась. Под прикрытием своей артиллерии, быстро заставившей орудия конфедератов замолчать (у тех почти закончились боеприпасы), пехота Брукса ударила по жиденькой боевой линии Уилкокса. Сперва его атака увенчалась успехом: бригада Барлетта, несколько расстроенная ружейными залпами южан, сумела перегруппироваться и ворвалась в здание школы, обороняемой всего несколькими полками. Беспорядочный и жестокий рукопашный бой закипел прямо в коридорах и классных комнатах среди покрытых пылью карт и глобусов. В считанные минуты заброшенная альма-матер превратилась в подобие могильного склепа. Наконец, уступив численному превосходству, южане отдали школу федералам, оставив им заодно своих убитых и раненых. Браун тем временем атаковал левофланговые полки Уилкокса и после короткой винтовочной дуэли загнал их в глубь лесной чащи.
Это был критический момент боя. Опрокинутая дивизией Брукса, почти вся бригада Уилкокса обратилась в бегство, и лишь один резервный полк пока еще сохранял порядок. Сам командир бригады также не терял хладнокровия. Он знал, что терпит поражение накануне победы, что подкрепление уже близко и что ему нужно продержаться еще несколько десятков минут, не более. Чтобы вырвать эти последние минуты у противника, Уилкокс бросил в контратаку свой единственный резервный полк. Храбро сражаясь, он сумел приостановить натиск врага, но северяне быстро разобрались, что имеют дело лишь с жалкой горсткой смельчаков, и вскоре уничтожили и рассеяли ее огнем. Однако и Уилкокс добился своего: пока противник возился с его резервным полком, а затем приводил свои линии в порядок, у Салем Черч появилась дивизия Мак-Лоуза.
Оставив у одного из многочисленных перекрестков бригаду Уоффорда, Мак-Лоуз с Кершоу, Мехоуном, Симмсом поспешил на поле боя. Вначале дивизия встретилась с рассеянными остатками бригады Уилкокса и, пропустив их через интервалы своей линии, столкнулась нос к носу с людьми Брукса. Нескольких залпов с расстояния в 100-200 ярдов оказалось достаточно, чтобы захваченная врасплох федеральная дивизия бросилась прочь из леса. Южане последовали за ними со своим традиционным пугающим воплем, и на какой-то миг все перемешалось в пестрой неразберихе. Но на просеке к востоку от леса конфедератов ждала свежая дивизия Ньютона, построенная наконец в линию. Дав осколкам частей Брукса пройти в тыл, она хлестнула по охваченным азартом южанам винтовочным огнем, и противники снова поменялись местами.
Утро 4 мая застало враждующие армии на прежних позициях, но после тяжелых сражений ни генерал Ли, ни тем более Хукер не спешили возобновлять наступательные операции. К тому же Драчливый Джо так упал духом и настолько утратил веру в себя, что утром ограничился всего одной депешей Седжвику, в которой позволял ему поступать так, как тот сочтет нужным.
Столь необычное послание, конечно, удивило Седжвика и в то же время показало ему, что Хукер считает игру проигранной. Позже командир 6-го корпуса получил еще несколько странных распоряжений, которые только укрепили его в этом мнении. Вместо того чтобы требовать от Седжвика удара в тыл неприятельской армии, который мог бы переломить ход событий в пользу северян, Хукер предписывал ему удерживать позиции у брода Бенкс, т.е. ограничиться исключительно обороной Таким образом, Потомакская армия благодаря искусным действиям Роберта Ли и пассивности Джозефа Хукера оказалась в нелепейшем положении Сед-жвик, командовавший ее левым крылом, занимал со своим 6-м корпусом (к утру 4 мая в нем оставалось не более 20 тысяч человек) пространство протяженностью почти в 5 миль – от Фредериксберга до брода Бенкс. Правое крыло армии во главе с самим Хукером – целых 75 тысяч человек, добрая половина из которых так и не увидела за всю кампанию ни одного неприятельского солдата, – бесполезно топталась на Крохотном пятачке земли посреди густого леса, отгородившись траншеями и брустверами. И оба федеральных командира со страхом ожидали атаки 40 тысяч ветеранов Северовирджинской армии, занимавшей опасные позиции между молотом и наковальней и с полным основанием считавшей себя победительницей.