Первыми попытками создать нечто подобное были каталоги веб-страниц, составленные вручную. Среди них встречались довольно специфичные и несерьезные списки, как, например, «Ссылки Джастина из подполья» Холла или «Бесполезные сайты» Пола Филлипса. Другие были более основательными и полными, например «Виртуальная библиотека Всемирной сети» Тима Бернерса-Ли, страничка NCSA «Что нового?» и «Проводник по Глобальной сети» Тима О'Райли. Где-то между этими двумя лагерями располагался сайт, созданный двумя аспирантами из Стэнфорда, которые сделали качественный шаг вперед в этой области. Их страница была открыта в начале 1994 года и пережила несколько реинкарнаций, одна из которых называлась «Путеводитель Джерри и Дэвида по Всемирной сети».
Джерри Янг и Дэвид Фило должны были дописывать свои докторские диссертации, но вместо этого играли в спортивные симуляторы, где игроки становились владельцами баскетбольного клуба и должны были собрать хорошую команду. «Мы занимались чем угодно, лишь бы не писать диссертации»[1029], — вспоминает Янг. Он искал способы пробраться на серверы игры, чтобы получить статистику других игроков. В то время серверы еще работали с протоколами FTP и Gopher, которые служили для передачи информации в Интернете и были популярны до появления Всемирной паутины.
Когда вышел браузер Mosaic, Янг заинтересовался Всемирной сетью и вместе с Фило начал вручную составлять каталог веб-сайтов, который постоянно рос. Приятели объединяли ссылки в категории, такие как бизнес, образование, развлечения, правительство. Каждый раздел имел десятки подкатегорий. В конце 1994 года они переименовали свой каталог в Yahoo!.
Было очевидно, что вручную обновлять списки сайтов невозможно, ведь каждый год количество веб-страниц увеличивалось в десятки раз. К счастью, тогда уже существовал способ получать информацию с FTP и Gopher-ресурсов. Речь шла о поисковых роботах, которые обходили интернет-серверы, собирали данные и индексировали их. Два самых известных робота-сборщика носили имена влюбленной парочки из комиксов: Арчи (для FTP) и Вероника (для Gopher). В 1994 году многие предприимчивые инженеры писали свои поисковые машины и роботов. Среди них можно упомянуть, например, WWW Wanderer Мэтью Грея из Массачусетского технологического института, WebCrawler Брайана Пинкертона из Университета Вашингтона, AltaVista Луи Монье из компании Digital Equipment Corporation, Lycos Майкла Молдина из Университета Карнеги — Меллон, OpenText, созданный программистами из канадского Университета Ватерлоо, и Excite, разработанный шестью друзьями из Стэнфорда. Эти поисковые системы использовали роботов, называемых ботами, которые кочевали по гиперссылкам всей Сети подобно тому, как заядлые пьяницы заглядывают в каждый паб на своем пути. Роботы собирали URL-адреса и информацию о каждом сайте, затем данные маркировались, индексировались и помещались в базу данных, доступ к которой имели поисковые серверы.
Фило и Янг из Yahoo! не стали создавать собственного робота-сборщика, а купили готового. Друзья продолжали подчеркивать важность своего созданного людьми каталога. Когда человек вводил поисковый запрос, компьютеры Yahoo! анализировали составленный вручную каталог и, если находили что-то подходящее, выдавали пользователю результаты списком. Если ничего похожего в каталоге не было, запрос перенаправлялся в поисковую систему с роботами.
Команда Yahoo! ошибочно полагала, что большинство пользователей будет беспредметно путешествовать по интернет-ссылкам, а не искать что-то определенное. «Мы совершенно не ожидали, что люди начнут искать конкретные вещи вместо того, чтобы просто исследовать Всемирную паутину»[1030], — говорит Сриниджа Сринивасан, первый редактор Yahoo! которая руководила отделом из более чем шестидесяти молодых редакторов и составителей каталогов. Компания продолжила широко использовать человеческий ресурс, поэтому на протяжении многих лет подборка новостей на Yahoo! была лучше, чем у конкурентов (как и сейчас). Однако их поисковая система проигрывала другим подобным сервисам. Сринивасан и ее команда не успевали обрабатывать данные о новых сайтах, у них не было ни единого шанса. И во что бы они ни верили, основным методом поиска информации в сети стали автоматизированные системы. А возглавили парад два других аспиранта из Стэнфорда.
Ларри Пейдж рос среди программистов и инженеров[1031]. Его родители преподавали в Университете Мичигана, отец — компьютерные науки и теорию искусственного интеллекта, а мать — программирование. В 1979 году, когда Ларри было шесть лет, отец принес домой любительский домашний компьютер Exidy Sorcerer[1032]. «Помню, я был в диком восторге, потому что в те времена покупка компьютера считалась настоящим событием. Он, наверное, стоил, как машина»[1033]. Пейдж быстро научился им пользоваться и делал на нем домашние задания. «Думаю, я был первым ребенком в начальной школе, который сдал работу, выполненную на компьютере»[1034].
В детстве одним из кумиров Пейджа был Никола Тесла, талантливый изобретатель в области электротехники и других областях. Одно время он работал на Томаса Эдисона, который его обманул; Тесла умер в безвестности. В возрасте двенадцати лет Пейдж прочитал биографию Теслы и нашел его жизнь довольно трагичной. «Он был одним из величайших изобретателей, но история его жизни — это очень и очень грустная история, — рассказывал Пейдж. — У него не получалось зарабатывать на своих изобретениях, ему едва хватало денег на собственные исследования. Лучше идти по стопам Эдисона. Вот вы что-то изобрели, но людям от этого ни тепло ни холодно. Вам нужно рассказать о своем изобретении миру, запустить его в производство и заработать денег на будущие исследования»[1035].
Родители Пейджа часто путешествовали по стране на машине и брали с собой Ларри и брата Карла. Иногда они ездили на компьютерные конференции. «По-моему, на момент окончания школы я побывал уже в каждом американском штате», — вспоминает он. Однажды они поехали в Ванкувер на международную конференцию по вопросам искусственного интеллекта. Там было выставлено множество невероятных роботов, но Пейджа не хотели пускать, потому что ему еще не исполнилось шестнадцати. И тогда отец заставил сотрудников впустить сына: «Он просто кричал на всех. Это был один из немногих случаев, когда я видел, как отец ругается»[1036].
