1. EGEE-II INFSO-RI-031688 Enabling Grids for E-sciencE www.eu-egee.org Введение в проект EGEE Олешко С.Б. Петербургский институт ядерной физики г.Гатчина

2. Enabling Grids for E-sciencE Санкт-Петербург, 28.04.2009 2 Название проекта EGEE- Enabling Grigs for E-sciencE Развертывание инфраструктуры Грид для науки

3. Enabling Grids for E-sciencE Санкт-Петербург, 28.04.2009 3 Содержание Основные цели и задачи проекта Ресурсы EGEE-II gLite – ППО Грид EGEE Проект БАК (LHC) Приложения EGEE Россия в проекте EGEE

4. Enabling Grids for E-sciencE Санкт-Петербург, 28.04.2009 4 Основные цели и задачи проекта Обеспечить создание высокопроизводительной продукционной GRID инфраструктуры, ее поддержку и развитие Предоставлять круглосуточный доступ к вычислительным ресурсам независимо от их географического положения Объединить национальные, региональные и тематические грид-разработки в единую цельную грид-инфраструктуру для поддержки научных исследований Привлекать пользователей из различных сфер деятельности (медицина, экономика, культура,… ) и обеспечить им высокий уровень обучения и поддержки

5. Enabling Grids for E-sciencE Санкт-Петербург, 28.04.2009 5 Проект EGEE EGEE –1 апреля 2004 – 31 марта 2006 –71 участник из 27 стран, объединённых в региональные федерации EGEE-II –1 апреля 2006 – 30 апреля 2008 –расширение числа участников и ресурсов (~90 участников из 36 стран) EGEE-III –1 мая 2008 – 30 апреля 2010 –переход к стабильной постоянно действующей Грид- инфраструктуре

6. Enabling Grids for E-sciencE Санкт-Петербург, 28.04.2009 6 Определение Грид Грид – это объединение сетевых ресурсов и промежуточного программного обеспечения, которое предоставляет пользователям соответствующие сервисы

7. Enabling Grids for E-sciencE Санкт-Петербург, 28.04.2009 7 Ресурсы EGEE-III сейчас 267 центров в 54 странах ~ 80 000 CPU ~ 20 PB дисковой памяти, + ленточные MSS распределённое управление >200 ВО из различных областей науки >150тыс. заданий/день >16000 пользователей

8. Enabling Grids for E-sciencE Санкт-Петербург, 28.04.2009 8 Инфраструктура EGEE Производственная (production) –масштабная инфраструктура с центрами по всему миру –стабильная, со службой поддержки, использующая только оттестированную и надёжную версию ППО Тестовая (pre-production) –работает параллельно с основной (ограниченное число узлов) –тестирование новых версий ППО –проверка новых пользовательских приложений Учебная (t-infrastructure) –полный набор Грид-служб –каждый может зарегистрироваться и попробовать работать в Грид (GILDA - https://gilda.ct.infn.it/)

9. Enabling Grids for E-sciencE Санкт-Петербург, 28.04.2009 9 Партнёры EGEE

10. Enabling Grids for E-sciencE Санкт-Петербург, 28.04.2009 10 Управление ГРИД EGEE Операционный центр управления (OMС) -ЦЕРН - общая координация Центры базовой инфраструктуры (CIC) - 5 центров (Великобритания, Франция, ЦЕРН, Италия, Россия) -обеспечение постоянной (24x7) работы базовых грид-служб, мониторинг системы; -реализация и контроль за выполнением правил, выработанных OMS -обеспечение поддержки узлов 2-го уровня Региональные операционные центры (ROC) ~ 11 центров -поддержка пользователей и администраторов ресурсов -координация региональных ресурсов

11. Enabling Grids for E-sciencE Санкт-Петербург, 28.04.2009 11 Ресурсные центры CIC RC ROC RC ROC RC ROC RC ROC OMC RC = Resource Centre

12. Enabling Grids for E-sciencE Санкт-Петербург, 28.04.2009 12 Мониторинг узлов EGEE

13. Enabling Grids for E-sciencE Санкт-Петербург, 28.04.2009 13 Мониторинг узлов EGEE

14. Enabling Grids for E-sciencE Санкт-Петербург, 28.04.2009 14 Определение Грид Грид – это объединение сетевых ресурсов и промежуточного программного обеспечения, которое предоставляет пользователям соответствующие сервисы

15. Enabling Grids for E-sciencE Санкт-Петербург, 28.04.2009 15 gLite – ППО EGEE Создан на базе нескольких программных пакетов: –Condor и Globus –LCG –EGEE –некоторые другие Цель – разработка готового к развёртыванию дистрибутива ППО для инфраструктуры EGEE Сервис-ориентированный подход Дополненный сервисами прикладного уровня

16. Enabling Grids for E-sciencE Санкт-Петербург, 28.04.2009 16 Ключевые факторы разработки 1.Строгий процесс разработки ПО Использование промышленных стандартов при проектировании и разработке ПО (использование систем конфигурирования ПО, контроль версий, отслеживание ошибок, системы автоматической сборки) 2.“Консервативный” подход Избегать “наиновейшего” ПО (слишком большая гетерогенность ресурсов) Избегать “эволюционирующих” стандартов (которые иногда метяются очень быстро - пример от OGSI к WSRF)

17. Enabling Grids for E-sciencE Санкт-Петербург, 28.04.2009 17 Определение Грид Грид – это объединение сетевых ресурсов и промежуточного программного обеспечения, которое предоставляет пользователям соответствующие сервисы

18. Enabling Grids for E-sciencE Санкт-Петербург, 28.04.2009 18 Приложения в EGEE >200 ВО из различных областей науки –астрономия и астрофизика –биомедицина –вычислительная химия –геофизика –гидродинамика –науки о Земле –физика конд. вещества –физика высоких энергий –ядерный синтез

19. Enabling Grids for E-sciencE Санкт-Петербург, 28.04.2009 19 Большой адронный коллайдер (LHC) Длина окружности ускорителя – 27 км. Запуск – в 2009 году

20. Enabling Grids for E-sciencE Санкт-Петербург, 28.04.2009 20 Эксперименты на БАК

21. Enabling Grids for E-sciencE Санкт-Петербург, 28.04.2009 21 Место для детектора ATLAS

22. Enabling Grids for E-sciencE Санкт-Петербург, 28.04.2009 22 Детектор ATLAS

23. Enabling Grids for E-sciencE Санкт-Петербург, 28.04.2009 23 Детектор ATLAS

24. Enabling Grids for E-sciencE Санкт-Петербург, 28.04.2009 24 Данные БАК 40 000 000 столкновений в секунду После фильтрации, остаётся только 100 событий в секунду Объём оцифрованных данных для одного события ~ 1Мб За год необходимо записать 10 10 событий = 10 Петабайт данных в год 1 Мегабайт (1MB) Цифровая фотография 1 Гигабайт (1GB) = 1000MB DVD фильм 1 Терабайт (1TB) = 1000GB Объём всех книг, изданных за год в мире 1 Петабайт (1PB) = 1000TB Производит за год один эксперимент БАК 1 Экзобайт (1EB) = 1000 PB Объём информации, которую производит за год всё человечество CMSLHCbATLASALICE

25. Enabling Grids for E-sciencE Санкт-Петербург, 28.04.2009 25 Необходимость ГРИД для БАК Объём получаемых данных БАК соответствует 20 миллионам записанных CD дисков в год. Где их хранить? Анализ данных LHC потребует вычислительных мощностей, эквивалентных мощности 100000 самых современных процессоров. Где их взять? Ресурсы ЦЕРН уже сейчас составляют более 1000 2-х процессорных ПК и 1 Пб памяти на дисках и на лентах. Но этого мало!!! Выход – объединение вычислительных ресурсов физиков всего мира Конкорд (15 Км) Воздушный шар (30 Км) Стопка CD дисков с данными БАК за 1 год (~ 20 Км) Монблан (4.8 Км)

26. Enabling Grids for E-sciencE Санкт-Петербург, 28.04.2009 26 Хранение данных в БАК

27. Enabling Grids for E-sciencE Санкт-Петербург, 28.04.2009 27 Другие приложения в EGEE биомедицина и биоинформатика GATE - медицинская томография и планирование процедур радиотерапии gPTM3D - Грид-ориентированные методы сбора, обработки и анализа трёхмерных радиологических изображений человеческих органов, Mammogrid - проект, посвящённый созданию всеевропейской базы данных маммограмм GPS@ : портал по биоинформатике, посвящённый различным средствам для анализа белков CDSS - клиническая система поддержки принятия решений моделирование взаимодействия потенциальных лекарств с белками-мишенями (проект WISDOM )

28. Enabling Grids for E-sciencE Санкт-Петербург, 28.04.2009 28 Проект WISDOM Приложение Drug Discovery, позволяющее вычислять вероятность прямого контакта между потенциальным лекарством и белком- мишенью Первый в истории биомедицины сеанс массовой обработки данных (малярия)  Исследовано 46 миллионов посадочных лиганд  Получено более 1 Тб данных  Использованы ~1000 компьютеров из 15 стран, что составляет ~ 80 машино/лет  Средний фактор ускорения – 600 Второй сеанс (птичий грипп)  Использованы ~5000 компьютеров из 27 стран, что составляет ~ 420 машино/лет  Получено более 2 Тб данных  Средний фактор ускорения – 2000

29. Enabling Grids for E-sciencE Санкт-Петербург, 28.04.2009 29 Другие приложения Науки о Земле: наблюдения за поверхностью Земли со спутников, гидрология – проникновение морской воды в прибрежный водоносный слой, климатология – прогнозирование наводнений, физика Земли - численное моделирование землетрясений. Геофизика (промышленное приложение Geocluster) Астрофизика (проекты MAGIC, Planck, ANTARES, NEMO) Термоядерный синтез (проект ITER) Вычислительная химия (проекты CHARON, CompChem) Археология Финансовые приложения (проект EGRID) (Всего свыше 200 виртуальных организаций)

30. Enabling Grids for E-sciencE Санкт-Петербург, 28.04.2009 30 Участие России в проекте EGEE В целях обеспечения полномасштабного участия России в этом проекте был образован консорциум РДИГ (Российский ГРИД для интенсивных операций с данными – Russian Data Intensive GRID, RDIG) для эффективного выполнения работ по проекту и развитию в России инфраструктуры EGEE, с вовлечением на следующих этапах проекта других организаций из различных областей науки, образования и промышленности. Консорциум РДИГ, согласно принятой в проекте EGEE структуре, входит в проект в качестве региональной федерации “Россия” (“Russia). Сейчас в РДИГ (http://www.egee-rdig.ru) входят 15 институтов (в 2004 году - 8)

31. Enabling Grids for E-sciencE Санкт-Петербург, 28.04.2009 31 Распределение время/регион

32. Enabling Grids for E-sciencE Санкт-Петербург, 28.04.2009 32 Распределение задания/регион

33. Enabling Grids for E-sciencE Санкт-Петербург, 28.04.2009 33 Европейская Грид инициатива (EGI) Необходимость подготовки постоянной, общей Грид инфраструктуры Поддержка долговременной Европейской e-инфраструктуры, независимо от выполняемых краткосрочных (1-2 года) проектов Координация интеграции и взаимодействия между Национальными Грид Инфраструктурами (NGI) Управление Европейским уровнем производственной Грид инфраструктуры для широкого круга научных дисциплин совместно с NGIs.

34. Enabling Grids for E-sciencE Санкт-Петербург, 28.04.2009 34 Заключение EGEE – самая большая в мире грид-инфраструктура, используемая в интересах многих областей науки Постоянно растёт число виртуальных организаций и приложений Россия участвует в деятельности EGEE РДИГ – первая реальная ГРИД-инфраструктура в России Первый ГРИД-проект всероссийского уровня, поддержанный Правительством России Для участников – опыт работы в большом общеевропейском проекте по эгидой ЕС