Одной из проблем, которая заинтересовала Толля, стало изучение фауны силурийских отложений на побережье Балтийского моря. Работы Толля по этому вопросу привлекли внимание известного исследователя Сибири, директора Геологического музея Академии наук академика Р.Б. Шмидта.
Он дал им высокую оценку, что в свою очередь побудило Толля к более серьезным научным исследованиям.
В числе других исследователей Шмидт внес в Академию наук проект организации двухлетней полярной экспедиции для исследования прибрежья Ледовитого моря в Восточной Сибири, преимущественно от Лены по Яне, Индигирке, Алазее и Колыме и пр., в особенности больших островов, лежащих на небольшом расстоянии от этого берега и получивших название Новой Сибири.
Проект ученых был принят, и на экспедицию были отпущены средства. Весной 1884 года Толль получил предложение Академии наук принять участие в этой экспедиции под руководством А.А. Бунге. Для подготовки к экспедиции он в августе был зачислен на должность ученого хранителя Геологического музея.
В декабре 1884 года Толль выехал из Петербурга в Иркутск, а оттуда уже вместе с Бунге в Якутск. Дальнейший их путь проходил через Тукуханский перевал Верхоянского хребта. 30 апреля Бунге и Толль прибыли в начальный пункт путешествия — Верхоянск.
Перед Толлем была поставлена задача исследовать геологическое строение берегов верхнего течения реки Яны, триасовые отложения и склоны Верхоянского хребта.
За 38 дней трудного пути Толль прошел более 1500 км. На протяжении всего маршрута он собирал большую коллекцию геологических материалов и триасовой фауны.
Установленное Толлем последовательное развитие отложений Триасового моря в будущем послужило основанием для более широких палеографических концепций академика В.О. Обручева.
30 июня 1885 года Толль присоединился к Бунге и вместе с ним спустился на лодке до села Казачьего, где экспедиция провела свою первую зимовку.
Дальнейший маршрут экспедиции вел на Новосибирские острова. 21 апреля 1886 года экспедиция Бунге прибыла в Аджертайзах. Проведя подготовительные работы, Толль на двух нартах отправился из Аджертайзаха к Чай-Поварне, там на протяжении долгих лет было место отдыха для путешественников, отправляющихся с материка на остров Большой Ляховский и обратно.
По льду пролива Дмитрия Лаптева Толль со своими спутниками прибыл в Малое Зимовье на Большом Ляховском острове. Здесь Толль сделал свое первое большое открытие.
Ознакомившись с обнажениями льда, он понял, что ледяной покров Большого Ляховского острова является древнейшим мощным оледенением. «Происхождение таких мощных ледяных масс, — впоследствии писал он, — я не могу иначе объяснить, как представлением о бывшем здесь снежном покрове, вроде современного материкового льда Гренландии, хотя в гораздо меньшем размере».
С Большого Ляховского острова Толль отправился на остров Котельный, а с него на остров Фадцеевский, представлявший из себя своеобразную песчаную область, которая даже на старых картах обозначалась как «песок». Эту область Толль назвал «землей Бунге» в честь ее первого исследователя.
В середине мая он переправился на нартах через Благовещенский пролив на остров Новая Сибирь для знакомства с разрезом Деревянных гор и профилем мыса Высокого. С окончанием исследований на этом острове заканчивалось изучение Новой Сибири. Дальнейший его путь лежал к легендарной Земле Санникова.
Он считал, что если оправдаются все предположения о существовании суши севернее Новосибирских островов, то это может оказаться значительный по размерам архипелаг. А если провести исследования на этом архипелаге, то они окажутся полезными не только для познания геологии севера Азии, но и для познания истории Земли.
После того как Толль увидел с острова Котельного контуры Земли Санникова, она навсегда стала его путеводной звездой во всех исследовательских работах.
В середине августа Толль вернулся к себе на базу в Урассалах. Полтора месяца было потрачено на изучение берегов, вдоль которых Толль ездил на шлюпке или на нартах.
В ноябре он через пролив Санникова переправился на Малый Ляховский остров, а с него на материк.
В конце января 1887 года Толль прибыл в Петербург. Вскоре после возвращения всех участников путешествия на заседании Академии наук состоялся отчет руководителей экспедиции. И здесь Толль никак не мог обойти вопрос о Земле Санникова. «Неужели мы отдадим последнее из полей действия для открытия нашего севера опять другим народам? — говорил он. — Ведь одна из виденных Санниковым земель уже открыта американцами… Мы, русские, пользуясь опытом наших предков, уже по географическому положению лучше всех других наций в состоянии организовать экспедиции для открытия архипелага, лежащего на север от наших Новосибирских островов, и исполнить их так, чтобы результаты были и счастливы и плодотворны».
После окончания экспедиции Толль был зачислен сверхштатным хранителем Минералогического музея Академии наук и занялся обработкой собранных во время экспедиции материалов.
Для сравнения палеонтологических данных Толль в ноябре 1887 года командируется за границу сроком на 9 месяцев.
По возвращении из командировки Толль назначается штатным хранителем Минералогического музея, а год спустя зачисляется геологом Геологического комитета с поручением произвести геологическую съемку Петербургской губернии и Курляндии.
В 1889 году выходит его первая часть «Научных результатов экспедиции 1885–1886 гг.». Однако в конце февраля 1890 года он заболевает тяжелым нервным расстройством и уезжает лечиться на курорт в Вену.
К этому времени относится его знакомство с известным норвежским полярным исследователем Ф. Нансеном, который в это время обдумывал план дрейфа через Северный полюс. Толль посоветовал Нансену двигаться к северу от Новосибирских островов, воспользовавшись ленским течением.
После возвращения Толля из Вены Академия наук вторично предложила ему возглавить руководство экспедицией в Восточную Сибирь. Толль ответил на это согласием.
Главной целью экспедиции было нахождение останков мамонта в тундре к востоку от устья реки Яны и доставки его в Академию наук. Однако по прибытии экспедиции на место выяснилось, что от мамонта почти ничего не сохранилось. И Толль решил предпринять новое путешествие на Новосибирские острова. Одновременно он выполнил и просьбу Нансена, закупил для его экспедиции партию восточноевропейских собак. Впоследствии знаменитый полярный исследователь с большой теплотой говорил о помощи, оказанной ему Толлем. Следует отметить, что, оказывая помощь Нансену, Толль вышел за узкие рамки служебной инструкции и тем самым придал своему походу на Новосибирские острова международный характер.
