自由軟體實驗室 設置 Hadoop 環境 王耀聰 陳威宇 國家高速網路與計算中心 (NCHC)

Slides:



Advertisements
Similar presentations
DIR-636L Support 10/100/1000Mbps 1WAN and 4LAN N 300Mbps Wireless Easy wizard setup Support mydlink cloud service mydlink apps (iOS/android) Support.
Advertisements

空間中有景物 第一組 B 陳思 廷 B 陳湘 惠. 內容大綱 1. 什麼是空間 ? 2. 什麼是景物 ? 3. 問題 - 什麼是空間中有景物 ? 4. 什麼樣類型的空間需要放置景物 ? 5. 設計原則 6. 研究結論 7. 參考文獻.
3Com Switch 4500 切VLAN教學.
校園線上技術服務之使用意圖與 建置成功因素的研究 2011/04/22 淡江大學 資管所碩二 李依倫 鄭佳容.
 課程網頁 :  講師姓名 : 張苑 ( ㄩㄢˋ ) 瑩  實驗室 : 資電館 734 室 
序列分析工具:MDDLogo 謝勝任 林宗慶 指導教授:李宗夷 教授.
Mobile IP Lab TA: 洪敏書
T HE APPLICATION OF WII REMOTE － I NFRARED FINGER MOUSE 組員名單： 張哲維、 鄭明昌 陳文泰、 高培修 指導老師 : 蕭旭峰.
SIP Mobiity TA: 洪敏書
ACM ICPC 競賽環境設定 Introducer: Hsing-Yen Ann Date: 2008/08/14.
 Prentice Hall Chapter 71 科技與工作流程設計.  Prentice Hall Chapter 72 學習目標 了解科技如何影響生產力 討論電腦輔設計 認識彈性製造系統 定義組織再造的三項要素 資訊科技如何支援決策.
邏輯設計 題目：３＿８解碼器 姓名：李國豪 學號：Ｂ０９３２２００１.
1 Advanced Chemical Engineering Thermodynamics Appendix BK The Generalized van der Waals Partition Function.
嵌入式系統概論 - 以 S3C2440 核心為架構 CH16 、第一個 Linux 程式設計. 嵌入式系統概論 - 以 S3C2440 核心為架構 許永和 大綱  16.1 撰寫第一個 Linux 程式  16.2 利用 minicom 與開發平台做溝通  16.3 利用.
女生宿舍空調系統使用說明 淡江大學學務處住輔組 輔導員 陳芝仙. 淡江 e 服務網 ( 註冊成為「淡江 e 服務網」會員.
1 Chapter 6 狀態機設計法 狀態機設計法的介紹 在圖形編輯器視窗下執行 在 Project Manager 視窗下執行.
家庭網路傳輸標準題庫 第0章 難第0章 難. 下列哪項不是數位家庭的技術？ 1. 無線技術 2. 有線技術 3. 紅外線技術 4. 以上皆非 詳解說明 紅外線適合用於短距離的傳輸.
1.1 電腦的特性 電腦能夠快速處理資料：電腦可在一秒內處理數百萬個 基本運算，這是人腦所不能做到的。原本人腦一天的工 作量，交給電腦可能僅需幾分鐘的時間就處理完畢。 電腦能夠快速處理資料：電腦可在一秒內處理數百萬個 基本運算，這是人腦所不能做到的。原本人腦一天的工 作量，交給電腦可能僅需幾分鐘的時間就處理完畢。
成大電腦網路服務課程 報告者: 陳明輝 §§I. 成大計算機與網路中心
第一章 計算機系統的主要架構.
第四章 第二節 網路位址轉換器 NAT Network Address Translation. 動機 解決 IP addresses 不夠的問題 IPv6 – 現有的網路設備需要重新設計 – 代價昂貴 Virtual IP Gateway(VIP Gateway) – 架構於目前的 IPv4 上.
高效率太陽能車 指導教授 : 蔡志成, 王國禎 組員 : 張友倫 ( ) 溫承豫 ( ) 溫承豫 ( ) 李志健 ( ) 李志健 ( ) 第十三週 (2005/5/18)
各種線上電子資源的特異功能 STICnet 的 SDI 專題訂閱服務 2003/4/28 修改. 無論校內外皆可使用。連線至
Presentation by 張維廷 資訊中心 教學支援組
程式語言實習 - JAVA Class1 1. 介紹 Java 編寫、編譯、執行 2. 請同學完成作業二.
Chapter 07 低階程式語言.
VHDL 邏輯設計 題目：一對十六解多工器 題目：一對十六解多工器 姓名：李國豪 姓名：李國豪 學號：Ｂ０９３２２００１ 學號：Ｂ０９３２２００１.
資訊科技概論 第5章　系統程式.
電腦攻擊與防禦 使用電腦教室 vmware 軟體說 明. 開機說明  選擇第二項 :Xp+VM 開機 Account: SNMG Pass:pc208.
1 Introduction to Chemical Engineering Thermodynamics Chapter 5 The second law of thermodynamics Smith.
南投縣社區大學 Excel 實務應用入門 講師 : 林泉成
國立中山大學財產管理系統 線上報廢、盤點系統 總務處保管組 策劃 計算機與網路中心 分析設計 2008/03.
資料處理 汪群超 2 這一年將學習到什麼？ 網際網路：你在哪裡？瞭解你的角色、駕馭網路 。 Web 、 FTP 、 、 Proxy 、 Database Servers 記錄你的學習歷程、展現學習成果： Homepage 、 PowerPoint.
影像處理學習營 練習（四）製作影片 【下】 影像處理學習營 教師 吳清月. 製作影片 學習重點 一. 設定影片秒數。  加入音樂，與影片做結合。 三. 影片存檔方式之選擇  上傳到網路.
最新計算機概論 第 5 章 系統程式. 5-1 系統程式的類型 作業系統 (OS) ： 介於電腦硬體與 應用軟體之間的 程式，除了提供 執行應用軟體的 環境，還負責分 配系統資源。
1 Syllabus Computer Network 計算機網路 賴秉樑 Dept. of Electronic Engineering National Chin-Yi University of Technology Spring 2008.
各種線上電子資源的特異功能 SwetsWise 的 alert, TOC alert 與 Favorites 2003/4/28 修改.
第三章 自動再裝載運用篇 使用時機：裝載計劃完成時，尚有剩餘空 間的情形，維持已固定計劃而繼續做裝載 最佳化。以支持次日裝載計劃而提前調整 作業模式。 裝載物品設定和裝載容器設定如前兩章介 紹，於此不再重複此動作，直接從裝載計 劃設定開始，直接從系統內定的物品和容 器選取所需.
下載 Dev C++ Compiler. 網址 ding.php?groupnamehttp://sourceforge.net/project/downloa ding.php?groupname=dev-cpp & filename=devcpp _setup.exe.
實驗六 WLAN 的設定 WLAN card 的設定. Reference Wireless Local Area Network by Dr.Morris Chang.
1 CHAOYANG UNIVERSITY OF TECHNOLOGY 朝 陽 科 技 大 學 研 究 發 展 處 專案計畫審查辦法說明會 報告人：洪處長弘祈.
教材名稱：網際網路安全之技術及其應用 （編號： 41 ） 計畫主持人：胡毓忠 副教授 聯絡電話： 教材網址： 執行單位： 政治大學資訊科學系.
1 國立清華大學博碩士論文 全文系統 清華圖書館讀者服務組 分機： 論文轉檔說明 -- 上載論文操作說明 上載論文操作說明.
個人資訊安全守則 授課:方順展(網站).
Cloud Computing project NSYSU Sec. 2 Demo. NSYSU EE IT_LAB2 Parse & Index  Parse:  截出抓取文件內文字字元，並進行過濾、文 字處理。  Index:  將文字字元依順序排列並建立字元與文件關 係之連結。
計算機概論 演算法與程式語言 李明山.
校內重點教學與研究計畫 先進安全大客車行車安全參 數與駕駛者使用介面之研究 運輸科技與物流管理學系 報 告 人：張 靖.
MinGW 的安裝.
Section 4.2 Probability Models 機率模式. 由實驗看機率 實驗前先列出所有可能的實驗結果。 – 擲銅板：正面或反面。 – 擲骰子： 1~6 點。 – 擲骰子兩顆： (1,1),(1,2),(1,3),… 等 36 種。 決定每一個可能的實驗結果發生機率。 – 實驗後所有的實驗結果整理得到。
安全性管理員 Java 學習手冊 p.p SecurityManager 觀念  Java Application 的系統資源存取權限的設 定  可以由 SecurityManager 完全控制 如 : 檔案系統, Thread, 執行外部 process, 網路存取 一旦 Security.
國科會 「九十四年度數位典藏國家型科技計畫」 應用服務分項 創意加值計畫 期中報告 利用台灣現有視障用數位典藏資料製作盲人電子書報告人：唐傳義 清華大學 資訊工程學系.
Chapter 3 Entropy : An Additional Balance Equation
09810ENGI 校園網頁服務介紹 講師 : 張智宏. Outline 校務資訊系統  教學意見  密碼維護  校園軟體下載 網路系統組  網際網路服務  學生宿舍網路  無線網路  新生入學  線上服務.
無線隨意及感測網路技術與 應用課程 實驗 1. 2 實驗目的 建立課程所使用平台 FT-6200 無線傳輸設備的相 容軟體環境 Jennic Evaluation System ，並學習相 關設定以及使用方法。 所有資源皆可從光碟片或網站上下載。 安裝並執行範例程式並且分析程式碼。
NT 組教學 小尖. 大綱 複習機房機器 防毒的基本概念 掃毒基本步驟 掃毒工具的應用 登錄編輯器 登錄編輯器的應用 作業.
南亞校園網路現況 電算中心 : 魯大德 大綱 n 南亞校園平面圖 n 南亞校園網路現況 n 有線環境及設備 n 無線環境及設備 n 未來規劃.
第 6 章 迴圈結構 6-1 計數迴圈 6-1 計數迴圈 6-2 條件迴圈 6-2 條件迴圈 6-3 巢狀迴圈 6-3 巢狀迴圈 6-4 While/End While 迴圈 6-4 While/End While 迴圈 6-5 跳出迴圈 6-5 跳出迴圈 6-6 VB.NET 的錯誤處理 6-6 VB.NET.
09610CS_ 校園授權軟體下載與安裝 講師 : 張智宏. 登入校務資訊系統 校園軟體下載.
: Construct the wall maze ★★★★★ 題組： Problem Set Archive with Online Judge 題號： 11050: Construct the wall maze 解題者：宋柏儀 解題日期： 2007 年 6 月 12 日.
Microsoft Excel.
VHDL語法(3).
自由軟體實驗室 設置 Hadoop 環境 王耀聰 陳威宇 國家高速網路與計算中心 (NCHC)
> Database 實驗室專用程式語言 Java. Language - 2 Outline Programming language chaos 一小時精通 Java 不是夢 Java 環境設定.
The information contained herein is the exclusive property of CCL/ITRI and shall not be distributed, reproduced, or disclosed in whole or in part without.
1 Network Simulator 2 Install Chao-Ying Chiu. 2 Outline n Install Cygwin n Install NS2 n Test NS2 Example.
Internet Technology Laboratory Department of Computer and Communication Kun Shan University  官方網站：
DataNode 硬碟空間配置 軟體貨櫃主機. DataNode 硬碟空間配置 ( 一 ) $ ssh dna1 $ df -h Filesystem Size Used Avail Use% Mounted on rootfs 19G 5.6G 12G 32% / none 19G 5.6G 12G.
下載 hadoop 1: 安裝 jdk 1: sudo add-apt-repository ppa:webupd8team/java.
自由軟體實驗室 Map Reduce Programming 王耀聰 陳威宇 楊順發 國家高速網路與計算中心 (NCHC)
Statistical analysis - R Language Open Source R R Studio.
Presentation transcript:

自由軟體實驗室 設置 Hadoop 環境 王耀聰 陳威宇 國家高速網路與計算中心 (NCHC)

Yahoo’s Hadoop Cluster ~10,000 machines running Hadoop in US The largest cluster is currently 2000 nodes Nearly 1 petabyte of user data (compressed, unreplicated) Running roughly 10,000 research jobs / week Hadoop Cluster 不可不會

Hadoop 單機設定與啟動 step 1. 設定登入免密碼 step 2. 安裝 java step 3. 下載安裝 Hadoop step 4.1 設定 hadoop-env.sh –export JAVA_HOME=/usr/lib/jvm/java-6-sun step 4.2 設定 hadoop-site.xml – 設定 Namenode-> hdfs://localhost:9000 – 設定 Jobtracker -> localhost:9001 step 5.1 格式化 HDFS –bin/hadoop namenode -format step 5.2 啟動 Hadoop –bin/start-all.sh step 6. 完成！檢查運作狀態 –Job admin HDFS

Hadoop 單機環境示意圖 Namenode JobTracker Datanode Tasktracker Localhost Node 1 conf/slaves: conf / hadoop-site.xml: fs.default.name -> hdfs://localhost:9000 mapred.job.tracker -> localhost:9001 localhost localhost:50070 localhost:50030

Hadoop 叢集設定與啟動 step 1. 設定登入免密碼 step 2. 安裝 java step 3. 下載安裝 Hadoop step 4.1 設定 hadoop-env.sh –export JAVA_HOME=/usr/lib/jvm/java-6-sun step 4.2 設定 hadoop-site.xml – 設定 Namenode-> hdfs://x.x.x.1:9000 – 設定 Jobtracker -> x.x.x.2:9001 step 4.3 設定 slaves 檔 step 4.4 將叢集內的電腦 Hadoop 都做一樣的配置 step 5.1 格式化 HDFS –bin/hadoop namenode -format step 5.2 啟動 Hadoop –nodeN 執行： bin/start-dfs.sh ; nodeJ 執行： bin/start-mapred.sh step 6. 完成！檢查運作狀態 –Job admin HDFS

情況一 Datanode Tasktracker x.x.x.1 Node 1 conf/slaves: conf / hadoop-site.xml: x.x.x.1 x.x.x.2 JobTracker Datanode Tasktracker x.x.x.2 Node 2 Namenode fs.default.name -> hdfs://x.x.x.1:9000 mapred.job.tracker -> x.x.x.1:9001

情況二 Namenode Datanode Tasktracker x.x.x.1 Node 1 conf/slaves: conf / hadoop-site.xml: x.x.x.1 x.x.x.2 JobTracker Datanode Tasktracker x.x.x.2 Node 2 fs.default.name -> hdfs://x.x.x.1:9000 mapred.job.tracker -> x.x.x.2:9001

情況三 x.x.x.1 Node 1 conf/slaves: conf / hadoop.site.xml: x.x.x.2 ….. x.x.x.n JobTracker Datanode Tasktracker x.x.x.2 Node 2 Namenode Datanode Tasktracker x.x.x.n Node N … fs-default.name -> hdfs://x.x.x.1:9000 mapred.job.tracker -> x.x.x.1:9001

情況四 conf/slaves: conf / hadoop-site.xml: x.x.x.3 ……. x.x.x.n mapred.job.tracker-> x.x.x.2:9001 fs.default.name -> hdfs://x.x.x.1:9000

Feedback: Privacy Policy Feedback
Do Not Sell My Personal Information
About project: SlidePlayer Terms of Service

© 2025 SlidePlayer.com. Inc. All rights reserved.