В центре и на левом фланге южане поначалу не встретили особых затруднений. Стремительной атакой они ворвались в засеки и даже смогли закрепиться в них на короткое время. Атака бригад Мак-Гауэна и Лейна не была столь удачной. Сперва они попали под анфиладный огонь справа, заставивший их остановиться. Сиклс, воспользовавшийся этой заминкой, бросил им во фланг бригаду Уорда, и конфедераты были оттеснены на исходные позиции.
Отбросив врага, атаковавшего их южнее дороги, северяне сконцентрировали усилия на тех, что рвались в засеки на севере. Стоявшим здесь федеральным частям пришлось несладко. Генерал Хейс был убит в ожесточенной схватке, а его бригада уже была готова обратиться в бегство. Но тут им на помощь со своей 2-й бригадой пришел от дома Чанселора генерал Френч. Удар, который он нанес на левом фланге конфедератов, вынудил их торопливо податься назад, и вся дивизия Хита отступила на первоначальные рубежи в некотором беспорядке и замешательстве. Однако у Стюарта еще оставалась свежая вторая линия, и он немедленно двинул ее в дело. К северу от дороги бригады Николса и Иверсона неожиданно вышли во фланг перешедшему в наступление Френчу и открыли по нему бешеный огонь. Несколько залпов привели эту бригаду северян в совершенное расстройство, и в свою очередь она поспешно ретировалась к линии засек.
Южнее дороги в бой вступили бригада Пакстона, объединившаяся с потрепанными частями Лейна и Мак-Гауэна, и бригада О'Нила, примкнувшего к Пендеру и Брокенброу. Однако первый дружный натиск этих бригад был отражен. Отступив, они перегруппировались, снова двинулись вперед и на этот раз добились успеха. О'Нилу, Пендеру и Брокенброу удалось ворваться в засеки и выгнать оттуда федералов. Но тут южанам снова не повезло. Шальная пуля ранила генерала О'Нила, яростного ирландца, возглавлявшего эту атаку. Лишившись командира, его бригада развалилась на две части, каждая из которых продолжала наступать самостоятельно.
Первая из них выша на правую оконечность линии Берри, находившуюся между Чанселорсвиллом и просекой Баллока, а вторая часть во главе с полковником Холлом повернула направо, перешла дорогу и начала взбираться по склонам холма Фейрвью, на вершине которого располагался левый фланг Берри. Эта федеральная дивизия стала чувствовать себя крайне неуютно под двойным натиском врага, а артиллерия конфедератов, открывшая огонь картечью с фронта, сделала положение северян еще менее комфортным. Но дивизию Берри спасла бригада Уорда. Сиклс, заметивший, что его правый фланг вот-вот рухнет, вовремя отправил ее к просеке Баллока, и после ожесточенной винтовочной дуэли наступавшая здесь часть бригады О'Нила была отброшена. Затем северяне переключились на полковника Холла, которому со своими людьми удалось ворваться в укрепления на вершине холма Фейрвью и после короткой рукопашной схватки овладеть ими.
Но тут северяне сконцентрировали на алабамцах Холла кинжальный винтовочный и артиллерийской огонь, а затем бросили в контратаку Нью-Джерсийскую бригаду Мотта. Даже после этого Холл не пожелал отступить, и его люди встретили бригаду Мотта штыками. Некоторое время им удавалось сдерживать натиск северян, но тех было слишком много, и, оставив на вершине холма Фейрвью добрую половину своих людей, Холл приказал отступить.
Стюарт, впрочем, не был обескуражен этими двумя неудачами. У него еще оставалась часть 3-й линии, не участвовавшая в деле, и он немедленно двинул ее на помощь остаткам двух первых. Бригада Колквита отправилась на левый фланг, где Френч, во второй раз перешедший в контратаку, сильно теснил бригаду Николса. Колквит, пройдя сквозь интервалы этой поредевшей части конфедератов, приказал своим людям открыть огонь, который в очередной раз поверг людей Френча в шок. Потеряв охоту контратаковать, они повернули и отошли на свои прежние позиции.
В то же время правофланговые бригады Ремсьюра и Долса из третьей линии южан вышли на исходные позиции для атаки.
Долс, двигаясь со своей бригадой по оврагу, который охватывал высоту с юго-востока, взобрался на самое Чанселорсвиллское плато и оказался там на левом фланге дивизии Гейри и почти в тылу дивизии Уиппла. Конфедераты тут же открыли прицельный огонь, захватив северян врасплох. Сначала, когда первые залпы уложили на месте несколько взводов, федералы пришли в замешательство, но по количеству вспышек от ружейных выстрелов они быстро поняли, что им противостоят малочисленные силы. Гейри, сняв часть войск с другого участка, бросил их на фланг Долса, а с фронта южан атаковал «вечный» резерв Дэна Сиклса – бригада Уорда.
Положение южан, атакованных с разных сторон, стало крайне неуютным, и на помощь им бросилась бригада Каменной Стены во главе с Колстоном. Ворвавшись в траншеи противника между Ремсьюром и Долсом, она выбила из них северян и заставила их в сильном расстройстве отойти на сотню-другую ярдов. Казалось, что теперь-то оборона 3-го корпуса уж точно не выдержит и рухнет, как обветшалый сарай, но это была иллюзия. Федералы по-прежнему обладали численным перевесом и вскоре перешли в контратаку. Они сконцентрировали свои усилия на бригаде Колстона и выбили ее из траншей. Оставив там добрую половину своих людей, в том числе и самого Колстона, убитого вражеской пулей, бригада отошла к подножию высоты, и Ремсьюр с Долсом последовали за ней. Штурм высот Фейрвью южанами был отбит. Стюарт, у которого больше не оставалось свежих резервов, решил дать своей измученной пехоте короткую передышку, и бой продолжала только одна артиллерия. С господствующих высот она по-прежнему утюжила линию Сиклса и Чанселорсвиллское плато, заглушая ответный огонь федеральных батарей.
Нарушить это равновесие могли только свежие резервы, введенные в дело. Но конфедератам уже нечего было посылать в бой. У них не осталось ни одного полка, ни одной роты, ни одного взвода, которые еще не участвовали в битве. У Хукера, напротив, хватало свежих частей: целых два федеральных корпуса (1-й и 5-й) стояли на своих позициях, готовые нанести решающий удар и склонить чашу весов в сторону Севера. Но Драчливый Джо настолько упал духом, что и слышать не хотел о контратаке. Все его надежды были связаны с Седжвиком, и, пока тот не подошел ему на выручку, части правого крыла должны были просто держать оборону. Хукер даже соглашался отвести их, если понадобится, еще ближе к реке. И в то время как корпуса Сиклса, Слокама и Коуча, истекая кровью, сдерживали натиск врага, за их спиной закладывалась новая линия укреплений, представлявшая собой цепь траншей и редутов.
Сражающиеся части северян были к тому времени сильно ослаблены неумолкающей канонадой батарей противника и теряли боеспособность по той простой причине, что у них заканчивались боеприпасы. Коуч попытался доставить им фургоны с патронами и снарядами, а также двинуть на позиции свою артиллерию, но и то и другое было так скучено у дома Чанселора, что выполнить распоряжение генерала оказалось невозможно.
