1 ПОЛИГОН ГРИД В ИПМ РАН И РАЗРАБОТКА МЕТОДОВ УПРАВЛЕНИЯ РЕСУРСАМИ В ГЛОБАЛЬНОЙ СРЕДЕ Коваленко В.Н., Корягин Д.А. Институт прикладной математики им. М.В.Келдыша.

Slides:



Advertisements
Similar presentations
Выпускная квалификационная работа на тему: «Применение интернет-технологий как фактор повышения эффективности функционирования организации (на примере.
Advertisements

Библиотечная веб-среда Дальневосточного региона Потехина Юлия Владимировна директор библиотеки ХГАЭП ст. преподаватель ХГИИК
The Anatomy of the Grid: An Integrated View of Grid Architecture Carl Kesselman USC/Information Sciences Institute Ian Foster, Steve Tuecke Argonne National.
A CSEL presentation based on I. Foster, Z. Yong, I. Raicu, and S. Lu, "Cloud Computing and Grid Computing 360-Degree Compared," in Grid Computing Environments.
Grid Computing & Tuple Space Presented by Nelson Chu.
Data Grids Darshan R. Kapadia Gregor von Laszewski
Globus Overview CS Lecture Notes In courtesy of Andy Kowalski.
Астрометрические каталоги К.В.Куимов, ГАИШ МГУ. Определение астрометрического каталога Астрометрический каталог – понятие неопределённое. Например, это.
External perimeter of secure network public Internet SNMPdata transaction data control commands Волгоград Июль 2003 Разработка системы информационной безопасности.
Enabling Grids for E-sciencE Введение в ГРИД Новодворский Е.Г., Олешко С.Б. Петербургский институт ядерной физики г.Гатчина.
Министерство Образования и Науки Республики Татарстан сентября 2010 г. г. Казань Всемирный банк Развитие школ Республики Татарстан в условиях.
ПРИНЦИПЫ РАЗРАБОТКИ СИСТЕМЫ КЛАССА LEARNING MANAGEMENT SYSTEM И ОПЫТ ЕЕ ИСПОЛЬЗОВАНИЯ НА ФАКУЛЬТЕТЕ МЕНЕДЖМЕНТА Афанасьева С.В. Кафедра бизнес-информатики.
Курсовая работа студента 345 группы Чуновкина Фёдора Дмитриевича Научный руководитель: Бондарев А.В. Санкт-Петербургский Государственный Университет Математико-механический.
Параметризация устройств сетевого управления Казакова А.С. Научный руководитель: Венгерова Е.А. Рецензент: Ушаков К.С. Кафедра системного программирования.
Управление и Конфигурирование Встроенных Систем Ушаков Константин, 545 группа Руководитель: Елена Венгерова.
Адаптивный метод распределения SPMD-заданий в грид Паньшенсков Михаил, 545 группа Научный руководитель: Лукичев А.С. Рецензент: Демьянович Ю.К июня.
Разработка программного обеспечения (Software Engineering) Часть 2. Создание ПО.
Computer Science Department 1 Load Balancing and Grid Computing David Finkel Computer Science Department Worcester Polytechnic Institute.
Разработка интеллектуальной многоагентной системы адаптивных роботов для игры в футбол Выполнили: А. А. Коробкин, 545 гр Г. М. Комаров, 544 гр Научный.
 Нужно много различных протоколов связи  Каждый из них может реализовываться на разных платформах Современные сети Много устройств, компьютеров и сетей.
Создание сводного каталога периодики АРБИКОН: первые успехи и проблемы Зеленина Г.Н., Данилов А.В., Усманов Р.Т. V конференция АРБИКОН Санкт-Петербург,
Программно-аппаратные решения, направленные на повышение эффективности информационного взаимодействия с ТФОМС. Интеграция в единое информационное пространство.
Milos Kobliha Alejandro Cimadevilla Luis de Alba Parallel Computing Seminar GROUP 12.
Распределенные системы Свистунов А.Н.. Структура курса. Лекции Распределенные системы: задачи, терминология принципы функционирования. Архитектура клиент-сервер.
ПОДДЕРЖКА ЗАДАЧ ОПЕРАТИВНОГО МОНИТОРИНГА ПРИРОДНЫХ ПРОЦЕССОВ В ОКЕАНОЛОГИЧЕСКОЙ ИНФОРМАЦИОННО- АНАЛИТИЧЕСКОЙ СИСТЕМЕ ДВО РАН А.В. Голик, А.Е. Суботэ, С.Г.
Характеристика направления «Менеджмент» (бакалавриат)
Globus activities within INFN Massimo Sgaravatto INFN Padova for the INFN Globus group
Проект «Безопасный браузер» Визовитин Николай Кадашев Дмитрий.
Разработка инструментария для создания нейронных сетей на мобильных платформах на примере iOS Золотухина Алина Манаев Дмитрий 445 группа Руководитель:
Разработка алгоритмов распознавания текста
Resource Manager for Grid with global job queue and with planning based on local schedules V.N.Kovalenko, E.I.Kovalenko, D.A.Koryagin, E.Z.Ljubimskii,
Демидов А.В г. Операционные системы Лекция 4 Работа с файлами.
Место человека в интеллектуальной техносреде В.В. Бушуев, д.т.н., проф., Генеральный директор Института энергетической стратегии ЦМТ, г.
Архитектура LCG Ткачев Игорь ОИЯИ, Дубна, Россия 16 мая 2006 г.
___________________________ Грязнов В.Б. Директор по Информационным технологиям ОАО «Мосэнерго»
GRID COMPUTING & GRID SCHEDULERS - Neeraj Shah. Definition A ‘Grid’ is a collection of different machines where in all of them contribute any combination.
Grid Computing Net 535.
Author(s): August E. Evrard, PhD License: Unless otherwise noted, this material is made available under the terms of the Creative Commons Attribution-Non-commercial-Share.
INFSO-RI Enabling Grids for E-sciencE Управление заданиями в GRID. Н. Клопов ПИЯФ, Гатчина.
Microsoft TechDayshttp:// Александр Шаповал Эксперт по стратегическим технологиям
1 Service Oriented Architecture & Grid Computing Marc Brooks, The MITRE Corporation The author's affiliation with The MITRE Corporation is provided for.
Grid Toolkits Globus, Condor, BOINC, Xgrid Young Suk Moon.
Hungarian Supercomputing GRID
Introduction to Grid Computing with High Performance Computing.
INFSO-RI Enabling Grids for E-sciencE NA2 in RUSSIA Tatiana Strizh JINR, Dubna, Russia November, 2004, Den Haag.
Through the development of advanced middleware, Grid computing has evolved to a mature technology in which scientists and researchers can leverage to gain.
Ajou University, South Korea Chameleon: A Resource Scheduler in A Data Grid Environment Sang Min Park  Jai-Hoon Kim Ajou University South Korea.
Автор в фокусе «Научное издание международного уровня : повышение качества и расширение присутствия в мировых информационных ресурсах» Москва, 21.
Ajou University, South Korea GCC 2003 Presentation Dynamic Data Grid Replication Strategy based on Internet Hierarchy Sang Min Park , Jai-Hoon Kim, and.
The Anatomy of the Grid Mahdi Hamzeh Fall 2005 Class Presentation for the Parallel Processing Course. All figures and data are copyrights of their respective.
Tools for collaboration How to share your duck tales…
Uni Innsbruck Informatik - 1 Open Issues and New Challenges for End-to-End Transport E2E RG Meeting - July 28/29, MIT, Cambridge MA Michael Welzl
GRID ARCHITECTURE Chintan O.Patel. CS 551 Fall 2002 Workshop 1 Software Architectures 2 What is Grid ? "...a flexible, secure, coordinated resource- sharing.
The Globus Toolkit®: The Open Source Solution for Grid Computing
Microsoft TechDayshttp:// Это видео - часть.
Basic Grid Projects - Globus Sathish Vadhiyar Sources/Credits: Project web pages, publications available at Globus site. Some of the figures were also.
7. Grid Computing Systems and Resource Management
О понятийном аппарате Национальной системы квалификаций Российской Федерации Есенина Екатерина Юрьевна, ведущий научный сотрудник Центра профессионального.
Институт систем энергетики им Л.А.Мелентьева СО РАН ИТ-ИНФРАСТРУКТУРА НАУЧНЫХ ИССЛЕДОВАНИЙ КАК ОСНОВА ИНФОРМАЦИОННОГО ОБЕСПЕЧЕНИЯ НАУЧНО-ОБРАЗОВАТЕЛЬНОГО.
The Globus Toolkit The Globus project was started by Ian Foster and Carl Kesselman from Argonne National Labs and USC respectively. The Globus toolkit.
A Resource Management Architecture for Metacomputing Systems Karl Czajkowski Ian Foster Nicholas Karonis Carl Kesselman Stuart Martin Warren Smith Steven.
Grid Computing 1 Presented by Wanying Zhao. Grid Computing 2 Outline Conception Basic Issues Grid Architecture Standards for Grid Environments Key Components.
Администрирование LCG
Отчетность средствами Reporting Services 2008
Development of High Performance Computing Environment
Globus —— Toolkits for Grid Computing
Grid Computing B.Ramamurthy 9/22/2018 B.Ramamurthy.
Горбунов-Посадов Михаил Михайлович
Grid Services B.Ramamurthy 12/28/2018 B.Ramamurthy.
Грид технологии Лекция 7 Архитектура Globus Toolkit
Presentation transcript:

1 ПОЛИГОН ГРИД В ИПМ РАН И РАЗРАБОТКА МЕТОДОВ УПРАВЛЕНИЯ РЕСУРСАМИ В ГЛОБАЛЬНОЙ СРЕДЕ Коваленко В.Н., Корягин Д.А. Институт прикладной математики им. М.В.Келдыша РАН Keldysh Institute of Applied Mathematics Keldysh Institute of Applied Mathematics Russian Academy of Sciences Keldysh Institute of Applied Mathematics Keldysh Institute of Applied Mathematics Russian Academy of Sciences 11

2  Catlett, C. and Smarr, L. Metacomputing. Communications of the ACM, 35 (6)  Ian Foster, Carl Kesselman, Globus: A Metacomputing Infrastructure Toolkit, International Journal of Supercomputer Applications, 11(2): ,  The DataGrid Project,  Foster I., Kesselman C., Tuecke S. The Anatomy of the Grid: Enabling Scalable Virtual Organizations. International Journal of High Performance Computing Applications, 15 (3)  Ian Foster, Carl Kesselman, Jeffrey M. Nick, Steven Tuecke. The Physiology of the Grid: An Open Grid Services Architecture for Distributed Systems Integration.  Catlett, C. and Smarr, L. Metacomputing. Communications of the ACM, 35 (6)  Ian Foster, Carl Kesselman, Globus: A Metacomputing Infrastructure Toolkit, International Journal of Supercomputer Applications, 11(2): ,  The DataGrid Project,  Foster I., Kesselman C., Tuecke S. The Anatomy of the Grid: Enabling Scalable Virtual Organizations. International Journal of High Performance Computing Applications, 15 (3)  Ian Foster, Carl Kesselman, Jeffrey M. Nick, Steven Tuecke. The Physiology of the Grid: An Open Grid Services Architecture for Distributed Systems Integration. Ключевые точки развития Грид 22

3 Вычислительный узел №1 (Миусская площадь Вычислительный узел №1 (Миусская площадь) Глобальная сеть Рабочая станция С-180 Локальный интерфейс Глобальный интерфейс Рабочая станция С-180 CONVEX 1600 D -serverК -server RAID Ленточный робот... Рабочие места пользователей PBS NFS Сетевой кластер... Рабочие места Доступ через Internet Локальная сеть 33

4 Вычислительный узел №.2 (Калужская) PBS NFS Сетевой кластер... Рабочие места пользователей Доступ через Internet Локальная сеть Рабочая станция Fire (2 CPU) Рабочая станция Fire03 (2 CPU) Рабочая станция Fire02 (2 CPU) Рабочая станция Fire01 (2 CPU) Рабочая станция Fire Локальный интерфейс Глобальный интерфейс... Рабочие места пользователей Глобальная сеть 44

5 Пользователь находится в точке А, но может считать на процессорах в точке B и, возможно, С. Программа для счета хранится на файл-сервере в точке E, а данные должны браться из базы, размещенной в точке E1.

6 55 Globus Toolkit 2.x  Управление заданиями (протокол Gram)  Передача файлов (GridFTP)  Информационное обслуживание (GIS)  Безопасность (SSL)

7 66 Протокол GridFTP:  глобальная безопасность, основанная на протоколе SSL  частичное чтение/запись файлов  возобновляемая передача  параллельная многопотоковая передача

8 ИПМ РАН Вычислительный узел №.1Вычислительный узел №.2 GIIS Russian DataGrid (SINP MSU) I I Многоуровневая распределенная информационная служба GI S GRISGRIS GIS ( CERN ) Информаци- онная база ресурсов 88

9 Грид: “Грид является согласованной, открытой и стандартизованной средой, которая обеспечивает гибкое, безопасное, скоординированное разделение ресурсов в рамках виртуальной организации – то есть динамически формирующейся совокупности независимых пользователей, учреждений и ресурсов. Среда Грид должна обеспечивать определенный гарантированный уровень обслуживания (QoS)“ Грид: “Грид является согласованной, открытой и стандартизованной средой, которая обеспечивает гибкое, безопасное, скоординированное разделение ресурсов в рамках виртуальной организации – то есть динамически формирующейся совокупности независимых пользователей, учреждений и ресурсов. Среда Грид должна обеспечивать определенный гарантированный уровень обслуживания (QoS)“ 99

10 Архитектура Грид: взамодействующие между собой сетевые службы со стандарти-зированными интерфейсами. Грид становится открытым и расширяемым. Службы Грид строятся на основе Web- сервисов. Архитектура Грид: взамодействующие между собой сетевые службы со стандарти-зированными интерфейсами. Грид становится открытым и расширяемым. Службы Грид строятся на основе Web- сервисов Globus Toolkit 3.0 Open Grid Service Architecture (OGSA):

11 Слои архитектуры Grid:  Связи  Управления ресурсами  Удаленного доступа к ресурсам  Кооперации  Координации Слои архитектуры Grid:  Связи  Управления ресурсами  Удаленного доступа к ресурсам  Кооперации  Координации 1111

12 Запуск заданий через Globus Запуск заданий через Метадиспетчер Broker 1212

13 Решается на двух динамических множествах: 1) множестве заданий и 2) множестве ресурсов. Результаты планирования: -Время запуска каждой задачи -Место, где должна выполняться задача Решается на двух динамических множествах: 1) множестве заданий и 2) множестве ресурсов. Результаты планирования: -Время запуска каждой задачи -Место, где должна выполняться задача 1313 Задача планирования для Грид

14 - большое количество объектов планирования (заданий и ресурсов); -глобальная распределенность этих объектов; -отсутствие прямого доступа к ресурсам: ими управляют локальные диспетчеры. Кроме того, организация Грид основана на принципе автономии, согласно которому владельцы ресурсов выделяют для использования в Грид только их часть, оставляя остальные для внутренних (локальных) заданий. - большое количество объектов планирования (заданий и ресурсов); -глобальная распределенность этих объектов; -отсутствие прямого доступа к ресурсам: ими управляют локальные диспетчеры. Кроме того, организация Грид основана на принципе автономии, согласно которому владельцы ресурсов выделяют для использования в Грид только их часть, оставляя остальные для внутренних (локальных) заданий Специфика планирования в Грид

15 Config.Config. Config. file Два уровня управления – локальный и глобальный, каждый с собственными объектами: задание, очередь, и система управления – Локальный монитор ресурсов (LRM) и Метадиспетчер. Global level LRM Local queue Local level MetaDispatcherMetaDispatcher jobjob jobjob jobjob jobjob Global queue 1515

16 РасписаниеРасписание Resource Future Time Future Time Running job priority1priority1 priority2priority2 priority4priority4 priority3priority3 Локальное расписание – это план занятия ресурсов локальными заданиями на определенный период времени в будущем. 1616

17 Data Base jobjob jobjob jobjob jobjob Global queue Программная архитектура планирования Agent LRM Agent LRM Agent Queue LRM SchedulerScheduler 1717

18  Грид имеет перспективу  Чтобы ее реализовать на практике, можно работать в трех областях: Определение и разработка сервисов, поддерживающих функционирование ГридОпределение и разработка сервисов, поддерживающих функционирование Грид Применения ГридПрименения Грид Создание адекватной телекоммуникационной инфраструктурыСоздание адекватной телекоммуникационной инфраструктуры  Грид имеет перспективу  Чтобы ее реализовать на практике, можно работать в трех областях: Определение и разработка сервисов, поддерживающих функционирование ГридОпределение и разработка сервисов, поддерживающих функционирование Грид Применения ГридПрименения Грид Создание адекватной телекоммуникационной инфраструктурыСоздание адекватной телекоммуникационной инфраструктуры

19 1.Новые типы распределенных приложений 2.Новые способы создания приложений 3.Общие службы – на всех уровнях и, в том числе на уровнях кооперации и координации 4.Активное управление телекоммуникациями 1.Новые типы распределенных приложений 2.Новые способы создания приложений 3.Общие службы – на всех уровнях и, в том числе на уровнях кооперации и координации 4.Активное управление телекоммуникациями Вопрос: Будет ли Грид полезен для Интернет?

20 1.Catlett, C. and Smarr, L. Metacomputing. Communications of the ACM, 35 (6) Ian Foster, Carl Kesselman, Globus: A Metacomputing Infrastructure Toolkit, International Journal of Supercomputer Applications, 11(2): , The DataGrid Project: 4.Foster I., Kesselman C., Tuecke S. The Anatomy of the Grid: Enabling Scalable Virtual Organizations. International Journal of High Performance Computing Applications, 15 (3) Ian Foster, Carl Kesselman, Jeffrey M. Nick, Steven Tuecke. The Physiology of the Grid: An Open Grid Services Architecture for Distributed Systems Integration. 6.С.А.Богданов, В.Н.Коваленко, Е.В.Хухлаев, О.Н.Шорин, “Метадиспетчер: реализация средствами метакомпьютерной системы Globus”. Препринт ИПМ РАН, № 30, стр. 1-23, Москва, V.N.Kovalenko, E.I.Kovalenko, D.A.Koryagin, E.Z.Ljubimskii, A.V.Orlov, E.V.Huhlaev, “Resource Manager for Grid with global job queue and with planning based on local schedules”, VIII International Workshop on Advanced Computing and Analysis Techniques in Physics Research, ACAT’2002 Book of Abstracts, June, 2002, Moscow, p Catlett, C. and Smarr, L. Metacomputing. Communications of the ACM, 35 (6) Ian Foster, Carl Kesselman, Globus: A Metacomputing Infrastructure Toolkit, International Journal of Supercomputer Applications, 11(2): , The DataGrid Project: 4.Foster I., Kesselman C., Tuecke S. The Anatomy of the Grid: Enabling Scalable Virtual Organizations. International Journal of High Performance Computing Applications, 15 (3) Ian Foster, Carl Kesselman, Jeffrey M. Nick, Steven Tuecke. The Physiology of the Grid: An Open Grid Services Architecture for Distributed Systems Integration. 6.С.А.Богданов, В.Н.Коваленко, Е.В.Хухлаев, О.Н.Шорин, “Метадиспетчер: реализация средствами метакомпьютерной системы Globus”. Препринт ИПМ РАН, № 30, стр. 1-23, Москва, V.N.Kovalenko, E.I.Kovalenko, D.A.Koryagin, E.Z.Ljubimskii, A.V.Orlov, E.V.Huhlaev, “Resource Manager for Grid with global job queue and with planning based on local schedules”, VIII International Workshop on Advanced Computing and Analysis Techniques in Physics Research, ACAT’2002 Book of Abstracts, June, 2002, Moscow, p. 31. ЛитератураЛитература2020

21 1.Коваленко В.Н., Корягин Д.А. Вычислительная инфраструктура будущего. Открытые системы, № (1999), стр , 2.Хухлаев Е.В. “Metamake – средство подготовки программ в сетевой гетерогенной среде”. Препринт ИПМ РАН, № 28, стр. 1-32, Москва, Коваленко Коваленко В.Н. Проблемы сетевых файловых систем. Открытые системы, №3 (1999), стр. 9-15, 4.В.Н., Коваленко Е.И. Пакетная обработка заданий в компьютерных сетях. Открытые системы, № 7-8 (2000), стр М.К. Валиев, Е.Л. Китаев, М.И.Слепенков. « Служба директорий LDAP как инструментальное средство для создания распределенных информационных систем». Препринт ИПМ РАН, № 23, стр. 1-22, Москва, Коваленко В.Н., Корягин Д.А. Вычислительная инфраструктура будущего. Открытые системы, № (1999), стр , 2.Хухлаев Е.В. “Metamake – средство подготовки программ в сетевой гетерогенной среде”. Препринт ИПМ РАН, № 28, стр. 1-32, Москва, Коваленко Коваленко В.Н. Проблемы сетевых файловых систем. Открытые системы, №3 (1999), стр. 9-15, 4.В.Н., Коваленко Е.И. Пакетная обработка заданий в компьютерных сетях. Открытые системы, № 7-8 (2000), стр М.К. Валиев, Е.Л. Китаев, М.И.Слепенков. « Служба директорий LDAP как инструментальное средство для создания распределенных информационных систем». Препринт ИПМ РАН, № 23, стр. 1-22, Москва, 2000 Список трудов 2121

22 6.Коваленко В.Н., Коваленко Е.И., Корягин Д.А, Любимский Э.З., Хухлаев Е.В., Управление заданиями в распределенной вычислительной среде. Открытые системы, № 5-6 (2001), стр , 7.С.А.Богданов, В.Н.Коваленко, Е.В.Хухлаев, О.Н.Шорин, “Метадиспетчер: реализация средствами метакомпьютерной системы Globus”. Препринт ИПМ РАН, № 30, стр. 1-23, Москва, В.Н.Коваленко, А.В.Орлов, “Управление заданиями в распределенной среде и протокол резервирования ресурсов”. Препринт ИПМ РАН, № 1, стр. 1-25, Москва, В.Н. Коваленко, Е.И. Коваленко, Д.А. Корягин, Э.З. Любимский, А.В. Орлов, Е.В. Хухлаев, “ Структура и проблемы развития программного обеспечения среды распределенных вычислений Грид ”. Препринт ИПМ РАН, № 22, стр. 1-23, Москва, V.N.Kovalenko, E.I.Kovalenko, D.A.Koryagin, E.Z.Ljubimskii, A.V.Orlov, E.V.Huhlaev, Resource manager for GRID with global job queue and with planning based on local schedules, Nuclear Inst. and Methods in Physics Research, A, vol. 502/2-3, pp 411 – 414, Elsevier Science, Коваленко В.Н., Коваленко Е.И., Корягин Д.А, Любимский Э.З., Хухлаев Е.В., Управление заданиями в распределенной вычислительной среде. Открытые системы, № 5-6 (2001), стр , 7.С.А.Богданов, В.Н.Коваленко, Е.В.Хухлаев, О.Н.Шорин, “Метадиспетчер: реализация средствами метакомпьютерной системы Globus”. Препринт ИПМ РАН, № 30, стр. 1-23, Москва, В.Н.Коваленко, А.В.Орлов, “Управление заданиями в распределенной среде и протокол резервирования ресурсов”. Препринт ИПМ РАН, № 1, стр. 1-25, Москва, В.Н. Коваленко, Е.И. Коваленко, Д.А. Корягин, Э.З. Любимский, А.В. Орлов, Е.В. Хухлаев, “ Структура и проблемы развития программного обеспечения среды распределенных вычислений Грид ”. Препринт ИПМ РАН, № 22, стр. 1-23, Москва, V.N.Kovalenko, E.I.Kovalenko, D.A.Koryagin, E.Z.Ljubimskii, A.V.Orlov, E.V.Huhlaev, Resource manager for GRID with global job queue and with planning based on local schedules, Nuclear Inst. and Methods in Physics Research, A, vol. 502/2-3, pp 411 – 414, Elsevier Science,