2003/03/25天文学会春季年会 JVO の研究開発 (2) 全体進捗 大石雅寿 国立天文台 ＆ 総研大

2003/03/25 天文学会春季年会 Collaborators NAOJ Y. Mizumoto N. Yasuda Y. Shirasaki M. Tanaka Ochanomizu U. Y. Masunaga Fujitsu Ltd. K. Monzen K. Kawarai Y. Ishihara H. Yanaka Y. Yamaguchi M. Ishida N. Saito

2003/03/25 天文学会春季年会 Supported by Research Grant from the MEXT （文部科学省 科研 費 特定領域研究 「情報学」 松岡・下條組） Research Grant from the Sokendai （総合研究大学院大 学 企画研究）

2003/03/25 天文学会春季年会 Data Productivity Nobeyama Radio ： ~1TB/yr ： ~20TB/yr ALMA （ planned ） ： ~PB/yr Flood of excellent data (survey data) Digitized & Archived

2003/03/25 天文学会春季年会 HPC + High Speed NETWORK +GRID Technology → it is possible to connect and seamlessly use remote DBs and computing facilities for data analyses → Virtual Observatory

2003/03/25 天文学会春季年会 Digital Universe 望遠鏡による観測データ Data Cube Dec. R.A. λ/Freq. + Time Real Universe Numerical Universe

2003/03/25 天文学会春季年会 アイデア 観 測 検 索 データ 解 析 解 析 研究発表 実望遠鏡での 観測 仮想望遠鏡での 観測

2003/03/25 天文学会春季年会 When Data is Not Found → VO requests REAL OBSERVATIONS to REAL telescopes → Real Observations → Get data → the data is registered into the VOs VO is a growing facility !

2003/03/25 天文学会春季年会 JVO (will) consists of Seamless Access to Federated DBs Various Data Analysis tools Advanced Analysis such as Data Mining Federation with Real Telescopes → crucial to control data quality in VO

2003/03/25 天文学会春季年会 JVO prototype : Ver. 1 Establish seamless access to federated DBs by using the Grid technology Define JVO Query Language, and implement its parser Test environment is in a closed subnet

2003/03/25 天文学会春季年会 Data Bases used in the prototype Subaru SuprimeCAM 2μm All Sky Survey (2MASS)

2003/03/25 天文学会春季年会 JVO Portal JVO Portal Catalog Query Service Globus Toolkit Catalog DB Service Registry Service Registry ASTRONOMER JVO Browser JVO Browser JVO Viewer JVO Viewer Data Archive Service Data Management DB Data JVO Contoroller JVO Contoroller 利用者独自 サービス 利用者独自 サービス Data Analysis Services UDDI Server （ FreeSoft) Web Broser Commands callable from GT2 Globus Toolokit V2 Security Service Resource Management Data Management skycat Query request JVO Query Language Parse the JVO QL into each query sequence Resolve servers to request queries GridFTP each query

2003/03/25 天文学会春季年会 JVO Query Language 詳細は，安田他 の講演 (V27b) で

2003/03/25 天文学会春季年会 Java2SE 1.4 Apache Tomcat soapuddi JDBC UDDI Registory / Servlet Engine Java2SE 1.4 JVO Server UDDI4J JVO Controller Globus Toolkit (Server) JVO Service (count) SQL library Java2SE 1.4 Maintenance Tool UDDI4J UDDI Maintenance Tool Hypertext contents Solaris8 (Possible at Linux ) Redhat Linux JVO Service ORACLE DB Service Free Software Commercial Software In House Software Function Apache ＳＯＡＰ ① Servlet DownLoad Globus Toolkit (Client) Redhat Linux PostgreSQL (DBMS) DB Service The following free software is included by globus toolkit. OpenSSL (Secure Socket Library) OpenLDAP (LDAP Server) wu-ftpd (ftp server) JVO Prototype System Architecture ③ Find Service Netscape Communicator Java2 Plugin JVO Client (servlet) JVO Client ② Request Observation Monitoring UDDI Data SUBARU SupCam z-band get & parse GSDL pre condition check execute Service post condition check register update delete GSDL (copy) JVO Service (select) SQL library JVO Service (image) JVO Service (X match) Image Data GSDL GridFTP Image Data (copy) ⑥ spawn Service ⑤ execute Service Check status SUBARU DataBase JVO Controller Globus Toolkit AVO Globus Toolkit NVO Internet Image Data SUBARU SupCam i-band Globus Toolkit (Server) JVO Service SQL library SQL library JVO Service (count) JVO Service (select) Copy imate data by GridFTP Copy imate data by GridFTP JVO Service (X match) JVO Service (image) ③ get GSDL ④ Get GSDL by GridFTP GSDL ⑦ issue SQL ④ ’ Get GSDL by GridFTP ⑦ ’ issue SQL ⑤ ’ execute Service Image Data (copy) SUBARU DataBase Gb Ether ⑥ ’ spawn Service Globus Toolkit (Server) JVO Service SQL library JVO Service (select) JVO Service (X match) GSDL Redhat Linux 2Mass DataBase PostgreSQL DB Service 2Mass DB Image Data (copy) Image Data

2003/03/25 天文学会春季年会 JVO プロトタイプの GRID 技術については 石原他の講演 (V30a) を参照 データベース構築， user interface につい ては 白崎他の講演 (V28b) を参照 検索サービスの構築については 田中他の講演 (V29b) を参照

2003/03/25 天文学会春季年会 How it works ? Read JVO QL Create “Work Flow”, and execute each step When necessary, access to the registry to expand the step of the work flow Thus the steps increases dynamically

2003/03/25 天文学会春季年会 Java2SE 1.4 Apache Tomcat 4.x soapuddi JDBC UDDI Registory / Servlet Engine Java2SE 1.4 Maintenance Tool UDDI4J UDDI Maintenance Tool Netscape Communicator Java2 Plugin JVO Client (applet) JVO Client Hypertext contents Solaris8 (Possible at Linux ) Redhat Linux Globus Toolkit (Server) JVO Service SQL library JVO Service ORACLE RDB DB Service Free Software Commercial Software In House Software Function Apache ＳＯＡＰ Applet Down Load Redhat Linux Globus Toolkit (Server) JVO Service SQL library JVO Service PostgreSQL RDB DB Service PostgreSQL RDB DB Service … The following free software is included by globus toolkit. OpenSSL (Secure Socket Library) OpenLDAP (LDAP Server) wu-ftpd (ftp server) JVO Prototype Architecture Java2SE 1.4 JVO Contro ｌ ler UDDI4J JVO Server Globus Toolkit (Server) JVO Service SQL library JVO Service Globus Toolkit (Client)

2003/03/25 天文学会春季年会

2003/03/25 天文学会春季年会

2003/03/25 天文学会春季年会 Query Files can be stored in a local PC (WS)

2003/03/25 天文学会春季年会 create materialized view my_table as select i.POS_EQ_RA_MAIN, i.POS_EQ_DEC_MAIN, i.PHOT_SDSS_I, z.POS_EQ_RA_MAIN, z.POS_EQ_DEC_MAIN, z.PHOT_SDSS_Z, img_i.BOX(POINT(ra1, dec1), 0.005, 0.005) as img_i, img_z.BOX(POINT(ra2, dec2), 0.005, 0.005) as img_z from Subaru.SPcam.i i, Subaru.SPcam.z z, Subaru.SPcam.i img_i, Subaru.SPcam.z img_z where XMATCH(i, z) < 10 arcsec NEAREST and BOX(POINT(201., 27.4), 0.10, 0.10) and i.PHOT_SDSS_I - z.PHOT_SDSS_Z > 0.0 and i.PHOT_SDSS_I < 20.0 and z.PHOT_SDSS_Z < 20.0

2003/03/25 天文学会春季年会 Monitor Window: Refreshed automatically in every 15 seconds

2003/03/25 天文学会春季年会 VOTable as output XML Standard data exchange format among VOs defined by the IVOA (see below)

2003/03/25 天文学会春季年会 Sample Outputs

2003/03/25 天文学会春季年会

2003/03/25 天文学会春季年会 FAQs on our Prototype Q) Contents of environment variables are not passed to the executing machines. A) Prepare a shell script to get environment variables and another script to execute the command. Then GridFTP these shell scripts, and execute the shells in the remote machine. Q) It is impossible to prepare all users’ account to all relevant machines. A) Map all accounts on a portal to a single representative one, such as globus.

2003/03/25 天文学会春季年会 FAQs Q) GT2 has too large overhead before starting actual jobs !! They are several seconds. Request) Overheads must be < 0.1 seconds excluding the network delays. A) Use NMI (NSF Middleware Initiative) where each key generation is quite fast through assembler.

2003/03/25 天文学会春季年会 Future Prototype version 2 (in progress) implement data analysis tools add more data (SXDF, SDSS, etc.) Interoperation with VOs in the world We have joined the International Virtual Observatory Alliance, and are contributing standardizing protocols for interoperability.

2003/03/25 天文学会春季年会 VOs in the World NVO (USA), AVO (EU),AstroGrid (UK) Germany, Canada, Russia, Australia India, China, JAPAN Protocols to interconnect VOs → International Virtual Observatory Alliance (IVOA)

2003/03/25 天文学会春季年会 サービス 他システム 処理 データ管理 資源管理 セキュリティ管理 研究者 VO 用 ブラウザ VO 用 ブラウザ Web サーバ Web サーバ JVO ポータル JVO ポータル 天体カタログ 天体カタログ DB ワーク フロー データ管理 資源管理 セキュリティ管理 サービス 利用者独自 サービス 利用者独自 サービス 天体カタログ サービス 天体カタログ サービス GRID 環境 A サービス レジストリ A サービス レジストリ A サービス レジストリ C サービス レジストリ C DB DA/DB Data サービス DB/DA サービス DB/DA サービス レジストリ B サービス レジストリ B 仮想観測実行 サービス 仮想観測実行 サービス M VC MVCMVC GRID 環境 B GRID 環境 C VO 用 Viewer VO 用 Viewer データ管理 資源管理 セキュリティ管理 データ管理 資源管理 セキュリティ管理 天文台殿 サービス 他システム pipeline 処理 データ管理 資源管理 セキュリティ管理 サービス 他システム 処理 データ管理 資源管理 セキュリティ管理 サービス 他システム 処理 データ管理 資源管理 セキュリティ管理 研究者 VO 用 ブラウザ VO 用 ブラウザ Web サーバ Web サーバ VO ポータル VO ポータル VO 用 Viewer VO 用 Viewer 仮想観測 指示

2003/03/25 天文学会春季年会 JVO Home Page