Нарва не прибавила славы к полководческой репутации Шереметева. Дважды его действия вызывали порицание: он отказался от сражения со шведами, когда командовал пятитысячным отрядом конницы; позднее вместе с конницей Шереметев в панике бежал с поля боя. Правда, поражение под Нарвой являлось прежде всего данью неподготовленности России к войне.
Считая «русских мужиков» не опасными для себя, Карл XII обратил все усилия против Августа II Саксонского. Война стала вестись на двух отдельных театрах: польском (главные силы шведов с королем) и прибалтийском (заслон). Оставив на последнем корпус Шлиппенбаха (8000 чел.) в Лифляндии и корпус Кронгиорта (6000 чел.) в Ингрии, Карл счел эти силы достаточными для сдерживания русских.
Действительно, ужас и смятение охватили Россию при известии о нарвском разгроме. Армия лишилась начальников, лишилась всей артиллерии. Дух войск был подорван. Среди общего уныния не терялся лишь один Петр I. В течение зимы 1700–1701 годов была реорганизована армия, вновь сформировано десять драгунских полков, а из церковных колоколов отлито 770 орудий – вдвое больше, чем потеряно под Нарвой.
К весне 1701 года главные силы русской армии (35000) сосредоточились у Пскова. Войска возглавил Борис Петрович Шереметев. Боярин решил двинуться в шведские пределы, в бой вступать лишь при наличии подавляющего превосходства и, действуя осторожно и осмотрительно, постепенно приучать войска к полевой войне. 1701 год прошел в незначительных стычках, но 29 декабря Шереметев одержал первую крупную победу над шведами при Эрестфере (взято до 2000 пленных). Трофеями было 16 знамен и 8 пушек Шведов перебито было до 3000, урон русских – 1000 человек. Победа подняла дух русских войск. Шереметев был награжден орденом Андрея Первозванного с золотой цепью и алмазами и пожалован чином генерал-фельдмаршала.
В 1702 году Петр решил воспользоваться разобщенностью шведских сил и разбить их порознь. Шереметеву предстояло действовать в Ливонии против Шлиппенбаха, Петр же с главными силами направлялся в Ингрию – против Кронгиорта. 18 июля фельдмаршал наголову разбил противника при Гуммельсгофе, совершенно уничтожив корпус Шлиппенбаха. Он обладал 30000 солдат против 7000 шведов. Бой велся с крайним ожесточением, 5500 шведов были убиты, всего 300 взяты в плен с 16 знаменами и 14 орудиями.
Потери русских – 400 убитых и 800 раненых. Эта победа превратила Шереметева в полновластного хозяина Восточной Лифляндии.
Успех фельдмаршала был отмечен царем: «Зело благодарны мы вашими трудами».
Следующая операция с участием Шереметева была связана с овладением древнерусским Орешком, переименованным шведами в Нотебург. Одно из условий успеха, заложенное в плане операции, состояло в полной внезапности нанесения удара. Петр I в сопровождении двух гвардейских полков двигался из Нюхчи на Белое море к Нотебургу. Командование собравшимися войсками (свыше 10000) царь передал фельдмаршалу. Осадные работы начались 27 сентября, а 11 октября начался штурм. Крепость пала.
4 декабря 1702 года победы Шереметева в Лифляндии и овладение Нотебургом были отмечены торжественным маршем войск через трое триумфальных ворот, сооруженных в Москве. Сам виновник торжества в празднествах не участвовал, ибо прибыл позднее.
Весной 1703 года Шереметев взял Ниеншанц, близ которого Петр заложил Петербург. Далее перед войсками фельдмаршала пали Копорье, Ямбург, Везенберг. К началу кампании 1704 года русская армия окрепла настолько, что смогла одновременно вести осаду двух мощных крепостей – Нарвы и Дерпта. Осадой Нарвы Петр I руководил сам, а к Дерпту послал Шереметева. Здесь фельдмаршал вызвал недовольство царя медлительностью действий. Однако 13 июля Дерпт пал. Победителям достались 132 пушки, 15 тысяч ядер, значительные запасы продовольствия. 9 августа пала и Нарва. Таким образом, четырьмя кампаниями 1701–1704 годов шведские войска, оставленные против русской армии, были истреблены, большая часть Прибалтики завоевана, а русские войска (60000 человек) – приучены к действиям в открытом поле.
В 1705 году царь направил фельдмаршала в Астрахань, где вспыхнул мятеж стрельцов. Указ о новом назначении Шереметев получил 12 сентября. Фельдмаршал сурово расправился с восставшими, хотя Петр I рекомендовал ему действовать осторожно. Успешное завершение карательной экспедиции было отмечено царем: Шереметев получил поместья, графский титул и 7 тысяч рублей.
В конце 1706 года фельдмаршал вернулся в действующую армию. К этому времени Карл XII готовился к наступлению в России. Шереметев участвовал в работе военного совета и разработке плана дальнейшего ведения войны. Решено было, не принимая генерального сражения, отступать в глубь России, действуя на флангах и в тылу врага. 1707 год прошел в ожидании шведского вторжения. В сентябре 1708 года Карл XII принял окончательное решение идти на Украину.
В обстановке необычайно суровой для тех мест зимы 1709 года армия Карла XII нуждалась в отдыхе и продовольствии. Ни того, ни другого шведы на Украине не обрели. Шереметев командовал войсками, но особых успехов не имел.
С первых чисел апреля внимание Карла было приковано к Полтаве. Если бы королю удалось принудить гарнизон города к сдаче, то в этом случае облегчились бы связи шведов с Крымом и особенно с Польшей, где находились значительные силы шведов, а также открылась бы дорога с юга на Москву. Петр I прибыл под Полтаву 4 июня, а 16 июня созванный царем военный совет принял решение перейти всей армией реку Ворсклу и иметь генеральную баталию. В Полтавской битве, состоявшейся 27 июня, главным действующим лицом был Петр. Важный вклад в победу внесли Меншиков, Боур и Брюс. Роль Шереметева была менее заметной: он возглавлял резерв и в сражении практически не участвовал. Участников Полтавской победы ожидали щедрые награды. Первым в наградном списке высших офицеров значился Борис Петрович, пожалованный деревней Черная грязь. Далее Шереметев двинулся к Риге и в конце октября 1709 года начал осаду. Затяжная осада города и крепости продолжалась до 4 июля 1710 года. Затем шведский гарнизон капитулировал. В декабре 1710 года началась война с Турцией.
Прутский поход, в котором фельдмаршал принимал участие, завершился крайне неудачно. Мирный договор, подписанный 12 июля, нанес глубокую рану Борису Петровичу. Дело в том, что визирь затребовал заложниками выполнения условий договора канцлера Шафирова и сына фельдмаршала – Михаила Борисовича.
Очень тяжелым для фельдмаршала стал 1718 год. Неприятности связаны с делом царевича Алексея и глубокой убежденностью царя в том, что Шереметев симпатизировал Алексею. 8 июня для суда над ним были вызваны в столицу сенаторы, вельможи, высшие офицеры и церковные иерархи. Под смертным приговором царевичу поставили подписи 127 светских персон, подписи же фельдмаршала там нет. В Петербург Борис Петрович не приехал. Петр был склонен объяснять отсутствие Шереметева симуляцией болезни. Царь в данном случае ошибался, но это стоило старому фельдмаршалу утраты душевного покоя в последние месяцы его жизни.