1. Параллельная поисковая машина для сверх-больших баз данных по окружающей среде Михаил Жижин, ИФЗ РАН jjn@wdcb.ru Eric Kihn, NGDC NOAA ekihn@ngdc.noaa.gov

2. План семинара Генератор погодных сценариев ESG и нечеткий поиск данных Интерактивный ресурс данных по солнечно-земной физике SPIDR и моделирование космической погоды Архив изображений Земли из космоса SABR

3. Ключевые слова и технологии ООП, параллельные вычисления, распределенные базы данных Искусственный интеллект и нечеткие множества Компьютерные кластеры Linux, Web (DHTML), XML, Java, JSP, RMI, SOAP, Web services Переносимость и масштабируемость Open Source

4. Что мы храним и ищем? ПользователиПроектыСреды ФлотESGОкеан Авиация, экология, метеорология Климат и атмосфера Связь и навигация, GPS SPIDRИоносфера Спутниковые операторы Магнитосфера и космос Наблюдения Земли из космоса SABRСпутники

5. Параллельная поисковая машина Ищет события как определенные условия и/или тренды в архивах данных Реализована на вычислительном кластере с распределенными базами данных и параллельными алгоритмами их обработки Подключение сетевых клиентов к поисковой машине не требует особых вычислительных затрат и трафика

6. Основные модели данных Временные ряды на сетке - BLOBS Гранулирование по времени BLOBS зависит от приложений: 1 год для климатических данных, 1 день космической погоды Метаданные в формате XML, включая символьные выражения и формулы для виртуальных параметров (напр., скорость ветра) Проекция на общую терминологическую базу метаданных

7. Протоколы и интерфейсы JDBC (доступ к кластеру баз данных) Java RMI, JAX-RPC (модели данных высокого уровня и распределенные синхронные сервисы) JMS, JAXM (асинхронные сервисы на EJB платформe) SMTP, Java Mail (синхронизация региональных узлов) HTTP (доступ пользователей)

8. Модель данных ESG

9. Поиск событий в ESG Поиск и отбор источников данных Редактор сценариев нечеткого поиска Параллельный запрос в базы данных Нечеткий поиск событий Визуализация результатов поиска Экспорт данных, внешние сервисы

10. Поиск и отбор источников данных

11. Узлы и области на сетке

12. Временные ряды в узле

13. 5-мерная визуализация в области

14. Поиск событий в терминах нечеткой логики «классическое» множество «нечеткое» множество

15. Нечеткие термины

16. Нечеткая логика First operand: fuzzy set A Second operand: fuzzy set B Fuzzy NOT Fuzzy AND Fuzzy OR

17. Нечеткое И: Т-норма Определение: Примеры:

18. Формулы Ягера (Yager) Пределы: Определение:

19. Гладкость норм Ягера a)Нечеткие функции принадлежности множеств A и B; b) T-нормы (И) для q = 1, 2, 5, и 50; c) T-конормы (ИЛИ) для q = 1, 2, 5, и 50

20. Случай двух переменных

21. Многомерный поиск в ESG Многомерные функции принадлежности в ESG задаются как конъюнкции (И) одномерных функций принадлежности для каждого параметра и узла Например, «сильный ветер» И «средняя температура» И «влажность 60%» В качестве оператора И используется Т- норма Ягера при q=5

22. “High” Wind “Average” Temperature “About” 60% Humidity

23. Нечеткий запрос

24. Сценарий ESG

25. Результат нечеткого поиска

26. Интерактивное моделирование Заполнить форму на счет модели Собрать данные из сети Рассчитать модель Визуализировать результаты Вернуть ссылки на графику и данные

27. Климатические модели ESG NCEP/NCAR CDAS/Reanalysis Project Output Parameters: 1) pressure level data on 10 isentropic surfaces: horizontal winds, omega (dP/dt), geopotential height, specific/relative humidity, absolute vorticity and divergence on standard pressure levels every 6 hours; 2) total cloud cover, convective and total precipitation; 3) surface wind stress, latent/sensible heat flux, soil temperature/moisture, gravity wave drag, SST, 2m temperature, 2m humidity, 10m winds, runoff, mean sea level pressure, surface pressure, and snow. The data is available every 6 hours. The above list is not complete. URL: http://wesley.wwb.noaa.gov/reanalysis.htmlhttp://wesley.wwb.noaa.gov/reanalysis.html COAMPS - Coupled Ocean/Atmosphere Mesoscale Prediction System Output Parameters: Similar to NCEP/NCAR model URL: http://www.nrlmry.navy.mil/projects/coamps/http://www.nrlmry.navy.mil/projects/coamps/ ACMES - Advanced Climate Modeling and Environmental Simulations Output Parameters: Similar to NCEP/NCAR model URL: http://www.meso.com/meso/research/acmes/acmes.htmlhttp://www.meso.com/meso/research/acmes/acmes.html MM5 – 5th generation mesoscale model of atmospheric circulation Output Parameters: Similar to NCEP/NCAR model URL: http://www.mmm.ucar.edu/mm5/mm5-home.htmlhttp://www.mmm.ucar.edu/mm5/mm5-home.html

28. Космические модели ESG IRI - International Reference Ionosphere Model Output Parameters: Electron density, electron temperature, ion temperature, ion composition (O+, H+, He+, NO+, O+2) URL: http://nssdc.gsfc.nasa.gov/space/model/models/iri.htmlhttp://nssdc.gsfc.nasa.gov/space/model/models/iri.html AMIE - Assimilative Mapping of Ionospheric Electrodynamics Model Output Parameters: Ionospheric electric potential distribution URL: http://www.hao.ucar.edu/public/research/tiso/amie/AMIE_head.htmlhttp://www.hao.ucar.edu/public/research/tiso/amie/AMIE_head.html MSM - Magnetospheric Specification Model Output Parameters: Electron and ion fluxes in the inner and middle magnetosphere; fluxes of electrons precipitating into the ionosphere; ionospheric electric fields; magnetic- field mapping information URL: http://rigel.rice.edu/~freeman/dmb/index.htmlhttp://rigel.rice.edu/~freeman/dmb/index.html PIM - Parameterized Ionospheric Specification Model Output Parameters: Electron density profiles (EDPs) between 90 and 25000 km altitude, corresponding critical frequencies and heights for the ionospheric E and F2 regions, and Total Electron Content (TEC) URL: http://users.primushost.com/~cpibos/http://users.primushost.com/~cpibos/ IONSCINT - Ionospheric Scintillation Simulation Algorithm Output Parameters: A simulated prediction of scintillation intensity throughout a specified theater for communication with a specified satellite.

29. Запрос модели IONSCINT

30. Результат моделирования