Борьба Кейстута с Орденом на западе и севере Великого княжества Литовского позволяла Ольгерду активные действия на востоке и юге. Под властью великого князя Литовского Ольгерда Гедиминовича оказались земли смоленские, брянские, калужские, тульские, орловские, тверские, даже часть московских территорий. Он фактически контролировал Псков и Новгород. Его походы на Москву в 1368, 1370 и 1372 годах были отбиты с большим напряжением сил. Граница между Литовским и Московским княжеством была установлена у Можайска и Коломны. Российский историк XIX века А. Барбашев писал о тактике и стратегии великого князя Литовского Ольгерда:
«Во Пскове влияние литовского князя боролось с новгородским влиянием. Ольгерд постоянно вмешивался в распрю смоленских удельных князей и мало-помалу ставил их в зависимость от Литвы. Еще более успеха имел Ольгерд в сношении с черниговско-северскими князьями. Начиная с Брянска, княжества Черниговско-Северской области переходят во власть Ольгерда.
В раздорах с московским великим князем из-за Смоленского и Черниговского княжеств, великий князь Ольгерд старался привлечь на свою сторону Золотую Орду, но потерпел в этом неудачу и должен был примириться с Москвой. Но дружба скоро сменилась открытым столкновением из-за Тверского княжества, князья которого в междоусобных распрях обращались за помощью то к Литве, то к Москве.
Но самое важное приобретение Ольгерда – Подолия и Киевское княжество. Та и другая область зависела от татар. Подольская орда в XIV веке, как кажется, отделилась от Золотой Орды; подольские татары были разбиты Ольгердом, и Подолия перешла под власть Литвы. Занятие Киевского княжества досталось Ольгерду, по-видимому, легко: он сместил киевского князя Федора, подручника Орды и посадил на его место сына своего Владимира. За обладание Волынской землей Ольгерд вел упорную борьбу с Казимиром польским, которая кончилась тем, что уделы берестейский, владимирский и луцкий отошли к Литве, а холмский и бельзский – к Польше».
В 1363 году объединенные войска Великого княжества Литовского во главе с Ольгердом полностью разгромили большое войско Золотой Орды на Синих Водах, левом притоке Южного Буга – татары были отброшены в Крым и за Дон. Именно с этого момента в состав Княжества вошли Киевская, Черниговская, Подольская, Волынская земли, а Ольгерд стал называться великим князем Литовским и Русским. Один из послов Тевтонского ордена оставил описание внешности великого князя Ольгерда Гедиминовича:
«Князь имеет величавый вид, румяное, продолговатое лицо, большой нос, глаза голубые и выразительные, брови густые, светлые, бороду длинную, светло-русую с проседью, такого же цвета волосы на голове, спереди уже выпавшие, чело высокое. Он выше среднего роста, ни толст, ни худощав. Говорит звучным и приятным голосом, отлично сидит на коне, но ходит немного прихрамывая на правую ногу, опирается Яна трость или на отрока. Немецкий язык хорошо понимает и может объясниться, но в беседах с нами всегда имеет при себе переводчика».
Современники и историки называли князя Ольгерда «основателем и распространителем какой-то новой политической силы, нового государства, вступавшего на историческую сцену, искусным, осторожным политиком, неутомимым ратным вождем, умным организатором и ловким дипломатом, непосредственным продолжателем дела Гедимина, собирателем западной Руси под литовской династией, раздвинувшим пределы Литовско-Русского государства от Балтийского моря до Черного и от Западного Буга до верхней Оки».
Белорусский историк писал о взаимоотношениях белорусских, украинских и литовских земель того времени:
«Когда Литва подчинила себе белорусские княжества, то на ее стороне была военная сила. Но литовцы и соседние белорусские княжества были хорошо ознакомлены друг с другом вследствие предшествующих отношений. Отношения эти были более мирного характера, чем враждебного. Поэтому русское население охотно подчинялось власти литовских князей, которые приносили свою защиту от сильных соседей и прекращали междоусобную борьбу. К тому же в обеих западнорусских землях русский княжеский род прекратился (Полоцкая земля), другие же (Турово-Пинская область, Северские княжества) так раздробились, что владетельные князья превратились в простых вотчинников, помещиков; княжества их утеряли характер государства, превратившись в поместья, иногда очень мелкие. В силу этого литовцы являлись не как завоеватели, но как элемент, вносивший известный прочный правопорядок в народную жизнь. Среди громадного большинства литовских язычников было немало и православных. Малокультурные литовцы быстро подчинились белорусскому влиянию. Наглядным доказательством этого служит употребление белорусского языка в государственных актах того времени. Из этого факта ясно, что белорусский язык был в то время языком высших классов в самой Литве».
Восьмидесятилетний великий князь Литовский Ольгерд Гедиминович умер в Вильно в 1377 году. От двух его жен – Марии Витебской и Ульянии Тверской у него осталось много детей, соперничавших между собой. Андрей княжил в Полоцке, Дмитрий – в Брянске, Константин – в Чернигове, Владимир – в Киеве, Ягайло-Владислав стал великим князем Литовским, Скиргайло-Иван княжил в Троках и Полоцке, Корибут-Дмитрий – в Новгороде-Северском, Лингвен-Сименон наместничал в Новгороде Великом, Коригайло-Казимир княжил в Мстиславле, Вигунд-Александр – в Кернове. Своих дочерей Ольгерд выдал за Владимира Серпуховского, Святослава Звенигородского, Ивана Новисильского, Бориса Суздальского, Давида Городецкого, Казимира Штетпинского, князя Мазовецкого. Почти шестьдесят князей Великого княжества Литовского исповедовали православие, почти двадцать русских княжен были замужем за князьями Княжества, столько же литовских княжен были замужем за русскими князьями. В. Б. Антонович составил характеристику великих князей Ольгерда и Кейстута Гедиминовичей:
«Ольгерд и Кейстут выделялись среди многочисленной своей семьи политическим развитием и военными дарованиями и притом соединены были тесной дружбой. По личному характеру, по политическим стремлениям и симпатиям они, тем не менее, представляли совершенно противоположные типы. Впрочем, эта противоположность не только не мешала им состоять в неразрывном единении, но, напротив того, благодаря их высокому политическому такту они как бы дополняли взаимно друг друга, представляя в совокупности все качества, необходимые для управления Литовским государством в том виде, в каком оно осталось после смерти Гедимина.
Ольгерд, по свидетельству современников, отличался преимущественно глубокими политическими дарованиями. Он умел пользоваться обстоятельствами, верно намечал цели своих политических стремлений, выгодно располагал союзы и удачно выбирал время для осуществления своих политических замыслов. Крайне сдержанный и предусмотрительный, Ольгерд отличался умением сохранить в непроницаемой тайне свои политические и военный планы.
