Концепция ГРИД (от англ. – «сетка, решетка») подразумевает создание глобальной компьютерной инфраструктуры, обеспечивающей интеграцию географически распределенных информационных и вычислительных ресурсов. Концепция ГРИД базируется на следующих неоспоримых фактах:
– быстром и постоянном увеличении производительности микропроцессоров массового производства. Современный персональный компьютер на базе процессора Pentium 4 сравним по скорости вычислений с суперкомпьютерами 10-летней давности
– появлении быстрых оптоволоконных линий связи. Сегодня базовые линии связи в сети Интернет имеют пропускную способность 10 гигабит/с, а подключение к Сети многих научных организаций происходит на скорости в 1—2 гигабит/с
– феномене Интернета, глобализации процесса обмена информацией и интеграции мировой экономики
– развитии метакомпьютинга
– научной дисциплины по организации сложных вычислительных процессов
– совершенствовании технологий и средств информационной безопасности.
Задачи новой технологии
ГРИД предполагает высокий уровень обобществления компьютеров и линий связи, а это не так просто будет принять собственникам ресурсов. Они должны получить взамен нечто настолько ценное, что смогло бы компенсировать такую «экспроприацию».
Законен вопрос – что может дать ГРИД-технология?
Вычислительные задачи бывают разного уровня – от относительно простых, не требующих уникальных вычислительных ресурсов, до задач, решение которых возможно только на суперкомпьютерах.
Первый тип имеет массовый характер, и это основной тип нагрузки в большинстве прикладных областей. Эти задачи можно выполнять, используя вычислительные ресурсы и программное обеспечение массового производства. Заметим сразу, что в большинстве случаев именно на такие прикладные задачи и ориентирована ГРИД-технология.
Однако существуют задачи, которые невозможно решить на компьютерах массового производства с использованием общедоступного программного обеспечения. Это задачи аэро– и гидродинамики (расчет крыла самолета или корпуса быстроходного судна), моделирование сложных динамических систем (ядерного взрыва или образования нейтронной звезды), задачи предсказания погоды и создание модели климатических изменений. Здесь требуется специальная организация работы многих сотен и тысяч процессоров для решения одной задачи. С этой целью создаются многопроцессорные компьютеры специальной архитектуры и особое программное обеспечение. К таким вычислительным ресурсам обычно применяется термин «суперкомпьютер».
Фермерское хозяйство
Для рынка вычислительных задач характерно то, что в рамках какого-либо фундаментального исследования, прикладной проблемы или даже коммерческого проекта приходится решать множество задач, каждая из которых в отдельности не является сложной. Конечно, поток или набор относительно простых и однотипных задач легко распараллеливается, и использование суперкомпьютеров несомненно даст огромный эффект по производительности. Однако такой же эффект можно получить и используя простые наборы персональных компьютеров, объединенные локальной сетью, – кластеры, в которых один из компьютеров занимается распределением задач по принципу «одна задача – один процессор». В физике высоких энергий такие кластеры получили название компьютерных ферм. Практика последнего десятка лет показала, что использование ферм в несколько раз дешевле, чем применение суперкомпьютеров, и дает такой же эффект производительности для большинства прикладных задач. И в этом плане ГРИД как глобальное объединение процессоров, скорее, является фермой, нежели суперкомпьютером.
Хорошо известно, что степень использования процессорной мощности персональных компьютеров очень низка, в большинстве случаев процессор реально загружен в течение лишь нескольких процентов рабочего времени. Эта проблема существует и для суперкомпьютерных центров.
В мире уже сейчас работают сотни миллионов персональных компьютеров как на рабочих местах, так и в составе кластеров (ферм). ГРИД-технология позволит объединять эти мощности в глобальные географически распределенные фермы. В результате такого объединения пользователь получает возможность запуска своих задач на глобальной ферме, которая будет на много порядков мощнее, нежели доступные ему локальные ресурсы. При этом собственные компьютеры будут, в свою очередь, включены в состав этой глобальной фермы и на них будут выполняться задачи других пользователей.
Эффект увеличения скорости счета будет определяться прежде всего тем, что в каждый конкретный момент не так много заданий посылается на исполнение и поэтому задачи выполняются сразу и быстро на очень большом количестве процессоров.
Таким образом, «конфеткой», на которую должны клюнуть собственники компьютерных ресурсов, станет резкое увеличение производительности доступных им ресурсов. В идеале все это может происходить бесплатно, в форме взаимозачета. Однако понятно, что учет и контроль всегда необходимы. Поэтому соответствующие системы – своеобразный биллинг для пользователей ГРИД – уже разрабатываются и опробываются на действующих фрагментах сети.
Но кроме производительности (скорости счета в реальном времени) есть другая «изюминка», связанная с возможностью использования географически распределенных данных для решения поставленной задачи без их транспортировки в одно место. Действительно, программа может мигрировать от сайта к сайту, в соответствии с тем, где необходимые данные хранятся, а окончательный результат будет доставлен пользователю после завершения всех вычислений.
Технология ГРИД в принципе нацелена на утилизацию всех видов компьютерных ресурсов, вне зависимости от типов операционных систем и вида технических средств. Это означает, что приготовленная в этой технологии задача не должна быть привязана к конкретному виду техники, и, следовательно, должна быть переносима с одной платформы на другие.
Законы муравейника
ГРИД – это набор стандартизированных сервисов, выполняющих свои функции в фоновом режиме в соответствии с универсальными оптимизирующими алгоритмами через использование специальных протоколов и стандартных программных средств промежуточного уровня (middleware). В этом он напоминает саму Всемирную паутину, где запрос на информацию к удаленному сайту происходит по протоколу (HTTP) и с использованием программ – Web-браузеров, сама же информация должна быть записана с использованием определенного стандарта (HTML). В случае ГРИД набор таких протоколов, стандартов и служб оказывается значительно шире.
ГРИД – это прежде всего сервис для обеспечения совместимого доступа к географически распределенным гетерогенным компьютерным ресурсам. Другой задачей является обеспечение надежного доступа к вычислительным ресурсам. Также должна быть обеспечена безопасность как для выполняемой задачи (задачи и данные не должны теряться и обязаны быть защищены от несанкционированного доступа к ним), так и в отношении используемого компьютерного ресурса.
Большое внимание в функционировании новой технологии уделяется сервису по созданию и обслуживанию виртуальных вычислительных организаций или лабораторий (virtual organizations/laboratories). Именно на уровне виртуальной организации и происходит то самое обобществление ресурсов, а также решаются конкретные вопросы безопасности.
Этот далеко не полный перечень служб показывает, что реализация идеи «вычислений через Интернет» не может быть простым развитием Web-технологии. Здесь требуются много принципиально новых решений. Тем не менее вполне закономерно считать, что «ГРИД – это следующий революционный этап развития WWW в XXI веке», более того уже появился новый термин «World Wide Grid – WWG».
Реальные достижения
Понятие ГРИД в последние годы успешно используется учеными разных стран как эффективный «флаг» для выбивания финансирования своих работ по компьютерной поддержке международных и междисциплинарных проектов.
Если говорить о реальных достижениях, то прежде всего следует отметить, что ГРИД – не всеобщий земной суперкомпьютер, а ряд реальных сетей, работающих в рамках конкретных научных проблем. Ярким примером является проект MAMMOGRID ( http://mammogrid.vitamib.com ), направленный на компьютерную поддержку медицинских исследований по проблеме рака молочной железы. В этом проекте планируется с помощью новой технологии организовать доступ ученых-медиков к данным, полученным в процессе ежегодных обследований миллионов женщин, и хранящимся в тысячах европейских медицинских центров. Если это удастся, то соответствующее направление медицинской науки выйдет на принципиально новый уровень. Ну а самое главное – за счет комплексной компьютерной обработки маммограмм существенно повысится достоверность обследований на самых ранних стадиях развития болезни.
