EGEE-II INFSO-RI Enabling Grids for E-sciencE Введение в проект EGEE Олешко С.Б. Петербургский институт ядерной физики г.Гатчина

Enabling Grids for E-sciencE Санкт-Петербург, Название проекта EGEE- Enabling Grigs for E-sciencE Развертывание инфраструктуры Грид для науки

Enabling Grids for E-sciencE Санкт-Петербург, Содержание Основные цели и задачи проекта Ресурсы EGEE-II gLite – ППО Грид EGEE Проект БАК (LHC) Приложения EGEE Россия в проекте EGEE

Enabling Grids for E-sciencE Санкт-Петербург, Основные цели и задачи проекта Обеспечить создание высокопроизводительной продукционной GRID инфраструктуры, ее поддержку и развитие Предоставлять круглосуточный доступ к вычислительным ресурсам независимо от их географического положения Объединить национальные, региональные и тематические грид-разработки в единую цельную грид-инфраструктуру для поддержки научных исследований Привлекать пользователей из различных сфер деятельности (медицина, экономика, культура,… ) и обеспечить им высокий уровень обучения и поддержки

Enabling Grids for E-sciencE Санкт-Петербург, Проект EGEE EGEE –1 апреля 2004 – 31 марта 2006 –71 участник из 27 стран, объединённых в региональные федерации EGEE-II –1 апреля 2006 – 30 апреля 2008 –расширение числа участников и ресурсов (~90 участников из 36 стран) EGEE-III –1 мая 2008 – 30 апреля 2010 –переход к стабильной постоянно действующей Грид- инфраструктуре

Enabling Grids for E-sciencE Санкт-Петербург, Определение Грид Грид – это объединение сетевых ресурсов и промежуточного программного обеспечения, которое предоставляет пользователям соответствующие сервисы

Enabling Grids for E-sciencE Санкт-Петербург, Ресурсы EGEE-III сейчас 267 центров в 54 странах ~ CPU ~ 20 PB дисковой памяти, + ленточные MSS распределённое управление >200 ВО из различных областей науки >150тыс. заданий/день >16000 пользователей

Enabling Grids for E-sciencE Санкт-Петербург, Инфраструктура EGEE Производственная (production) –масштабная инфраструктура с центрами по всему миру –стабильная, со службой поддержки, использующая только оттестированную и надёжную версию ППО Тестовая (pre-production) –работает параллельно с основной (ограниченное число узлов) –тестирование новых версий ППО –проверка новых пользовательских приложений Учебная (t-infrastructure) –полный набор Грид-служб –каждый может зарегистрироваться и попробовать работать в Грид (GILDA -

Enabling Grids for E-sciencE Санкт-Петербург, Партнёры EGEE

Enabling Grids for E-sciencE Санкт-Петербург, Управление ГРИД EGEE Операционный центр управления (OMС) -ЦЕРН - общая координация Центры базовой инфраструктуры (CIC) - 5 центров (Великобритания, Франция, ЦЕРН, Италия, Россия) -обеспечение постоянной (24x7) работы базовых грид-служб, мониторинг системы; -реализация и контроль за выполнением правил, выработанных OMS -обеспечение поддержки узлов 2-го уровня Региональные операционные центры (ROC) ~ 11 центров -поддержка пользователей и администраторов ресурсов -координация региональных ресурсов

Enabling Grids for E-sciencE Санкт-Петербург, Ресурсные центры CIC RC ROC RC ROC RC ROC RC ROC OMC RC = Resource Centre

Enabling Grids for E-sciencE Санкт-Петербург, Мониторинг узлов EGEE

Enabling Grids for E-sciencE Санкт-Петербург, Мониторинг узлов EGEE

Enabling Grids for E-sciencE Санкт-Петербург, Определение Грид Грид – это объединение сетевых ресурсов и промежуточного программного обеспечения, которое предоставляет пользователям соответствующие сервисы

Enabling Grids for E-sciencE Санкт-Петербург, gLite – ППО EGEE Создан на базе нескольких программных пакетов: –Condor и Globus –LCG –EGEE –некоторые другие Цель – разработка готового к развёртыванию дистрибутива ППО для инфраструктуры EGEE Сервис-ориентированный подход Дополненный сервисами прикладного уровня

Enabling Grids for E-sciencE Санкт-Петербург, Ключевые факторы разработки 1.Строгий процесс разработки ПО Использование промышленных стандартов при проектировании и разработке ПО (использование систем конфигурирования ПО, контроль версий, отслеживание ошибок, системы автоматической сборки) 2.“Консервативный” подход Избегать “наиновейшего” ПО (слишком большая гетерогенность ресурсов) Избегать “эволюционирующих” стандартов (которые иногда метяются очень быстро - пример от OGSI к WSRF)

Enabling Grids for E-sciencE Санкт-Петербург, Определение Грид Грид – это объединение сетевых ресурсов и промежуточного программного обеспечения, которое предоставляет пользователям соответствующие сервисы

Enabling Grids for E-sciencE Санкт-Петербург, Приложения в EGEE >200 ВО из различных областей науки –астрономия и астрофизика –биомедицина –вычислительная химия –геофизика –гидродинамика –науки о Земле –физика конд. вещества –физика высоких энергий –ядерный синтез

Enabling Grids for E-sciencE Санкт-Петербург, Большой адронный коллайдер (LHC) Длина окружности ускорителя – 27 км. Запуск – в 2009 году

Enabling Grids for E-sciencE Санкт-Петербург, Эксперименты на БАК

Enabling Grids for E-sciencE Санкт-Петербург, Место для детектора ATLAS

Enabling Grids for E-sciencE Санкт-Петербург, Детектор ATLAS

Enabling Grids for E-sciencE Санкт-Петербург, Детектор ATLAS

Enabling Grids for E-sciencE Санкт-Петербург, Данные БАК столкновений в секунду После фильтрации, остаётся только 100 событий в секунду Объём оцифрованных данных для одного события ~ 1Мб За год необходимо записать событий = 10 Петабайт данных в год 1 Мегабайт (1MB) Цифровая фотография 1 Гигабайт (1GB) = 1000MB DVD фильм 1 Терабайт (1TB) = 1000GB Объём всех книг, изданных за год в мире 1 Петабайт (1PB) = 1000TB Производит за год один эксперимент БАК 1 Экзобайт (1EB) = 1000 PB Объём информации, которую производит за год всё человечество CMSLHCbATLASALICE

Enabling Grids for E-sciencE Санкт-Петербург, Необходимость ГРИД для БАК Объём получаемых данных БАК соответствует 20 миллионам записанных CD дисков в год. Где их хранить? Анализ данных LHC потребует вычислительных мощностей, эквивалентных мощности самых современных процессоров. Где их взять? Ресурсы ЦЕРН уже сейчас составляют более х процессорных ПК и 1 Пб памяти на дисках и на лентах. Но этого мало!!! Выход – объединение вычислительных ресурсов физиков всего мира Конкорд (15 Км) Воздушный шар (30 Км) Стопка CD дисков с данными БАК за 1 год (~ 20 Км) Монблан (4.8 Км)

Enabling Grids for E-sciencE Санкт-Петербург, Хранение данных в БАК

Enabling Grids for E-sciencE Санкт-Петербург, Другие приложения в EGEE биомедицина и биоинформатика GATE - медицинская томография и планирование процедур радиотерапии gPTM3D - Грид-ориентированные методы сбора, обработки и анализа трёхмерных радиологических изображений человеческих органов, Mammogrid - проект, посвящённый созданию всеевропейской базы данных маммограмм : портал по биоинформатике, посвящённый различным средствам для анализа белков CDSS - клиническая система поддержки принятия решений моделирование взаимодействия потенциальных лекарств с белками-мишенями (проект WISDOM )

Enabling Grids for E-sciencE Санкт-Петербург, Проект WISDOM Приложение Drug Discovery, позволяющее вычислять вероятность прямого контакта между потенциальным лекарством и белком- мишенью Первый в истории биомедицины сеанс массовой обработки данных (малярия)  Исследовано 46 миллионов посадочных лиганд  Получено более 1 Тб данных  Использованы ~1000 компьютеров из 15 стран, что составляет ~ 80 машино/лет  Средний фактор ускорения – 600 Второй сеанс (птичий грипп)  Использованы ~5000 компьютеров из 27 стран, что составляет ~ 420 машино/лет  Получено более 2 Тб данных  Средний фактор ускорения – 2000

Enabling Grids for E-sciencE Санкт-Петербург, Другие приложения Науки о Земле: наблюдения за поверхностью Земли со спутников, гидрология – проникновение морской воды в прибрежный водоносный слой, климатология – прогнозирование наводнений, физика Земли - численное моделирование землетрясений. Геофизика (промышленное приложение Geocluster) Астрофизика (проекты MAGIC, Planck, ANTARES, NEMO) Термоядерный синтез (проект ITER) Вычислительная химия (проекты CHARON, CompChem) Археология Финансовые приложения (проект EGRID) (Всего свыше 200 виртуальных организаций)

Enabling Grids for E-sciencE Санкт-Петербург, Участие России в проекте EGEE В целях обеспечения полномасштабного участия России в этом проекте был образован консорциум РДИГ (Российский ГРИД для интенсивных операций с данными – Russian Data Intensive GRID, RDIG) для эффективного выполнения работ по проекту и развитию в России инфраструктуры EGEE, с вовлечением на следующих этапах проекта других организаций из различных областей науки, образования и промышленности. Консорциум РДИГ, согласно принятой в проекте EGEE структуре, входит в проект в качестве региональной федерации “Россия” (“Russia). Сейчас в РДИГ ( входят 15 институтов (в 2004 году - 8)

Enabling Grids for E-sciencE Санкт-Петербург, Распределение время/регион

Enabling Grids for E-sciencE Санкт-Петербург, Распределение задания/регион

Enabling Grids for E-sciencE Санкт-Петербург, Европейская Грид инициатива (EGI) Необходимость подготовки постоянной, общей Грид инфраструктуры Поддержка долговременной Европейской e-инфраструктуры, независимо от выполняемых краткосрочных (1-2 года) проектов Координация интеграции и взаимодействия между Национальными Грид Инфраструктурами (NGI) Управление Европейским уровнем производственной Грид инфраструктуры для широкого круга научных дисциплин совместно с NGIs.

Enabling Grids for E-sciencE Санкт-Петербург, Заключение EGEE – самая большая в мире грид-инфраструктура, используемая в интересах многих областей науки Постоянно растёт число виртуальных организаций и приложений Россия участвует в деятельности EGEE РДИГ – первая реальная ГРИД-инфраструктура в России Первый ГРИД-проект всероссийского уровня, поддержанный Правительством России Для участников – опыт работы в большом общеевропейском проекте по эгидой ЕС