К началу апреля группа Альбанова из запасных парусов и кусков судового дерева изготовила семь нарт и каяков, конструкция которых, как показали последующие события, была крайне несовершенной. Были подготовлены теплая одежда, палатка, кухня, оружие, собран запас продовольствия в расчете на два месяца пути (основу продовольствия составляли сухари — около 500 кг, 82 % от всего запаса провизии). Для улучшения питания планировалось в пути заниматься охотой на тюленей и медведей.
23 апреля 1914 г. 13 человек под руководством Альбанова покинули «Святую Анну», находящуюся на 82° 55,5' с. ш., 60° 45' в. д. Прощаясь с уходящими, Брусилов передал штурману жестяную банку, в которой находились особый пакет на имя начальника Гидрографического управления и выписка из судового журнала экспедиции.
Благодаря тому, что эти документы были переданы Альбановым по назначению, история экспедиции Г. Л. Брусилова с момента выхода «Святой Анны» из Петербурга и до апреля 1914 г., когда группа Альбанова покинула судно, стала широко известна. На основе данных судового журнала была построена карта дрейфа «Святой Анны», проходившего по совершенно не исследованным в те времена районам Северного Ледовитого океана.
Через десять дней три человека из команды Альбанова вернулись обратно на шхуну. Таким образом, на «Святой Анне» осталось 13 человек — сам Г. Брусилов, Е. Жданко, гарпунеры В. Шленский и М. Денисов, боцман И. Потапов, матросы Г. Анисимов, Г. Мельбард и И. Параприц, машинист Я. Фрейберг, повар И. Калмыков и вернувшиеся матросы И. Пономарев, М. Шабатура и А. Шахнин. Их судьба и судьба судна не известны до сих пор.
Группа Альбанова из 11 человек продолжила путь. В состав группы входили матросы А. Конрад, Е. Шпаковский, О. Нильсен, И. Луняев, П. Баев, П. Смиренников и А. Архиреев, стюард Я. Регальд, старший рулевой П. Максимов и кочегар В. Губанов. Ни у кого из них не было опыта участия в подобных экспедициях, а снаряжение группы было крайне неудовлетворительным. Поэтому не удивительно, что девять человек из одиннадцати погибли или пропали без вести на этом трудном пути, и лишь двоим удалось вернуться на Родину.
О трагических событиях апреля — июля 1914 года известно только со слов В. И. Альбанова. В конце 1917 г. в Петрограде в виде приложения к журналу «Записки по гидрографии» вышла книга В. Альбанова «На юг, к Земле Франца-Иосифа!», написанная на основе его дневниковых записей, сделанных во время похода. Сокращенный вариант книги (Н. В. Пинегин. «70 дней борьбы за жизнь. По дневнику участника экспедиции Брусилова — штурмана Альбанова») был издан Северным издательством в Архангельске в 1932 и 1933 гг. В 1934 г. Всесоюзный арктический институт выпустил в свет книгу «Затерянные во льдах» с предисловием Н. В. Пинегина, в которой, кроме записок Альбанова, были опубликованы выписка из судового журнала, последнее письмо Брусилова и редкие фотографии. Впоследствии книга Альбанова неоднократно переиздавалась под разными названиями как в России, так и за рубежом.
В. И. Альбанов повел свою группу в сторону самого северного острова Земли Франца-Иосифа — острова Рудольфа, рассчитывая достичь его при самых неблагоприятных обстоятельствах через месяц. В распоряжении штурмана была лишь очень неточная карта архипелага из приложения к русскому изданию книги Ф. Нансена «Среди льдов во мраке ночи». Из этой же книги Альбанов знал, что на мысе Флора (о. Нордбрук, Земля Франца-Иосифа) можно найти постройки, оставленные экспедицией Джексона 1894-1897 гг., и, может быть, запасы продовольствия. Отдохнув и восполнив запасы, можно было затем добраться до населенных мест на Шпицбергене или Новой Земле.
Путь по льдам был чрезвычайно трудным. Нарты были нагружены доверху — на них лежали каяки, весла, лыжи, ружья, запас провизии и топлива, все личные вещи. Вес груженых нарт составлял около 160-170 кг. Продвижению вперед сильно мешали торосы, полозья то и дело ломались, нарты переворачивались. Тянуть нарты можно было лишь вдвоем или даже втроем, поэтому перевозили весь скарб экспедиции в два приема, возвращаясь за оставшимися вещами. Так проходил день за днем — подъем, завтрак, поход по льдам, привал для обеда, следующий переход, остановка на ночлег, ужин и сон.
Палатка, которую устанавливали каждый вечер, была громоздкой и неудобной, но она была единственной защитой от холода и ветра по ночам. Для приготовления пищи использовали жестяной кожух, куда вставлялось оцинкованное ведро с крышкой. Для экономии топлива воду не кипятили, а лишь нагревали. Суп, похлебку, чай варили из морской воды или растопленного льда. Чем дальше от «Святой Анны» уходил маленький отряд, тем меньше продовольствия и топлива оставалось в запасе, тем тяжелее было идти вперед усталым, изможденным, голодным людям. Иногда случались и праздники — это были дни, когда удавалось убить тюленя или, что было значительно предпочтительнее, медведя.
К концу апреля почти у всех путешественников появились признаки снежной слепоты. Продвигаться вперед стало значительно труднее. Впереди обоза шли те, кто видел лучше всех, остальные, полуприкрыв или даже закрыв глаза, двигались вслед за ними.
Гряды торосов, мелкие и крупные полыньи (майны) то и дело преграждали путь. В начале мая на разведку ровной дороги («ровнушки») ушел и не вернулся матрос Баев. Это была первая потеря отряда. Поиски товарища заняли три дня, но оказались безуспешными, и оставшиеся десять человек продолжили путь.
В начале мая пригодились каяки — на них переправлялись через крупные разводья во льдах, однако найти канал во льду, тянущийся в нужном направлении, удавалось далеко не каждый день. Путь от полыньи к полынье стал еще более трудным — под глубоким снегом появилась вода, путники проваливались в нее, промокая до нитки. Заканчивались запасы продовольствия, люди слабели с каждым днем и один за другим заболевали цингой. Единственным лекарством от болезни была хина, к ней добавляли немного сушеных ягод вишни и черники. Заставить маленький отряд продолжать движение вперед было почти невыполнимой задачей для Альбанова.
Через полтора месяца пути выяснилось, что дойти до северной оконечности Земли Франца-Иосифа группе Альбанова не удастся, дрейфующими льдами их довольно быстро сносит к югу архипелага. Очередное определение координат показало, что ближайшая к ним земля — крайняя юго-западная часть Земли Франца-Иосифа — Земля Александры.
И вот, наконец, забравшись на огромный торос, Альбанов увидел далеко у горизонта полоску земли, и путешественники с новыми силами двинулись к заветной цели. Но на этом пути случилось непредвиденное — два человека (фамилий их Альбанов не называет) отправились на разведку дороги и не вернулись обратно. Выяснилось, что они, забрав все самое ценное (теплые вещи, 10 кг сухарей, оружие, бинокль, единственный хронометр, банку с документами и пр.), сбежали. Оставшимся пришлось, прежде чем отправиться дальше, уменьшить вес своей поклажи, а для этого бросить палатку и один из каяков. Двадцать дней пути понадобилось, чтобы добраться до отвесного ледяного берега. К этому времени у путников осталось два килограмма сухарей, 200 граммов сушеного мяса и меньше килограмма соли.
