藍色小站    提供您實用軟體官方下載點、免費資源分享、生活資訊的好地方! Since 2009..
首頁 > 軟體下載 > strom nimbus 大數據教學
2016年6月13日 i58tw

 ● 本站致力分享免費軟體及綠色軟體。
 ● 本站不提供破解檔或註冊機。
 ● 部份軟體說明係為網路轉載,若有版權疑慮,請留言告知處理。
 ● 建議您軟體下載後請加以掃毒確認無木馬及病毒問題後再行使用。
 ● 本站提供之大部份載點均為引用官方網站之下載點。
 ● 官網下載點可能會隨時異動失效,無法下載請留言告知。

  strom nimbus 大數據教學

strom nimbus zookeeper bigdata 線上教學推薦

近半年來工作上有些調整,不同的公司不同的文化學到了很多原本沒機會碰到的各種新奇技術,前一份工作原從事雲端運算服務,不過待了半年對於公司的一些規章制度還有辦公環境不是那麼習慣就毅然決然離開了,回到了熟悉的電信行業領域一下子又是半年過去,這份工作應徵時以為每天的工作會是和通訊行業底層的 core network 或是 Radio Network System 及各種奇奇怪怪的通訊協定綁在一起,想不到因緣際會下接觸的是公司最新的solution,這個案子不只和大數據扯上邊,而是之前很多只是聽過沒機會一探究竟的Big Data 底層應用技術都在這個專案碰上了,個人從事的是系統建置以及整合工作,將公司開發好的大數據產品與客戶端系統介接導入數據源並加以處理,專案中的扮演的角色必需要從最底層的 Server及網路佈建規劃安裝以及 Customer integration pint adapter介接機制規劃等,從底層 build up上來,一層層的剝開拆解系統後才驚訝的發現時下最新的各種大數據相關技術都包含其中,其中有一樣技術是在 adapter 接口收集了各式前端系統產出的資訊後需即時處理海量資料的 strom 架構,這塊因為之前沒有接觸過所以是最陌生的部份,把上網找到的storm 相關資源作了一些整理後分享給大家參考。




Storm 基本重要元件說明:
控制節點(master node):擔任控制節點的機器會有一支名為 Nimbus 的程序常駐在背景執行,機制有點像是Hadoop架構的JobTracker,Nimbus主要的任務是在集群裡面分發代碼,分配計算任務給機器, 並且監控狀態。
工作節點(worker node):每一部工作節點機器運行 Supervisor 程序,這支 Supervisor會監聽 Nimbus 分配各個節點的工作,並且視狀況來執行或是結束某個對應的 TASK來完成上級交付的任務,每一個worker 都會執行一個 topology 的子集任務,因此一個完整的topology規劃的任務由 Nimbus 下派後可以由很多台不同機器上的 Supervisor 程序進行的TASK來共同完成。
Zookeeper:Nimbus和Supervisor之間的socket 溝通管理協調就是靠Zookeeper Cluster 來完成。Nimbus 進程和Supervisor進程都是快速失敗(fail-fast)和無狀態的。所有的狀態要麼在zookeeper裡面, 要麼在本地磁片上。這也就意味著你可以用kill -9來殺死Nimbus和Supervisor進程, 然後再重啟它們,就好像什麼都沒有發生過。這個設計使得Storm異常的穩定。

Nimbus:負責資源的分配還有任務的派遣調度安排。

Supervisor:負責接受上級 Nimbus 指派的任務,並據以啟種或停止自己管理的 worker 流程,就像是一個生產線的現場主管,實際管理所屬的員工作事。
Worker:執行具體邏輯的程序 (Process)。
Task: worker 裡面的每一個 spout/bolt 的執行緒 (Thread)稱為 task ,在 storm 0.8 版本之後同一個 spout/bolt 的 task 可能會共享一個實際的 (Thread),而這個 (Thread)就稱作 executor。

Topology:什麼是 Storm 的Topology? 我在操作 storm UI的時候會有 load topology 相關的資訊,而 topology 沒Load好也會有問題,那到底什麼是topology ? Storm 的Topology Cluster 和Hadoop cluster 看起來好像很類似,不過Hadoop骨子裡跑的是 MapReduce jobs,而在Storm上面跑的腳本其實就是 Topology 拓撲,Storm 到底要處理的是什麼樣的資料要怎麼樣處理都是描述在 Topology 內,而且 Topology 一經 load 到 storm 裡面執行之後就不會結束了,除非你自己去砍掉它,而 Hadoop 裡面的 MapReduce 的JOB跑完之後就會自己死掉了。

storm 架構中比較大的問題就是 nimbus 承載了 cluster 上的許多重要工作,包含把最重要的 topology 傳送出去,單一 nimbus 節點的風險就是一旦這個點掛掉 topology 就找不到了,資料也產不出來了。http://www.nbcio.com/post/1e9aba_9a0d975

strom 線上視頻教學資源:

https://www.youtube.com/watch?v=ACQtpD5GNg8&index=1&list=PLmk2A5FdzV3NYx0YKyHsWqNMiSJU69VEd

Storm入門教程 第二章 構建Topology參考至:

http://erhwenkuo.blogspot.tw/2013/05/storm-topology.html

軟體下載:免費載點 | 官方載點

(◕‿◕) 藍色小站下載說明:
 ● 本站所有軟體介紹說明均為原創,請勿任意引用。
 ● 本站部份推薦軟體儲存於免費空間,請按免空下載說明使用。
 ● 本站分享均為免費軟體或是共享軟體,若有侵權疑慮,請留言告知。
 ● 本站自行分享之免空軟體均經過 Avast防毒軟體掃毒
 ● 所有透過網路下載之軟體建議您仍需再次掃毒後再行使用比較安全。
 ● 藍色小站歡迎大家一起來交換連結。
 ● 覺得本站提供的資訊對您有幫助,請給本站一個「讚」。







熱 門 文 章 :
2016立委當選人名單 
windows media player 12 繁體中文版下載 
稀有pokemon稀有寶可夢.Pokemon Go怪物圖鑑圖表 
ipad2 jb教學 | ipad2 破解【越獄】 
統一發票中獎號碼 106年03-04月 
免費網盤 Dropbox下載 
各公司薪水薪資查詢系統 
99年統一發票9 10月對獎號碼 
.NET Framework 所有版本下載點 (懶人包) 
bt程式下載 μtorrent 3.1.2 
版權所有 2009-2017 藍色小站