【大資料日知錄】叢集資源管理與調度筆記

標籤：自己的   任務   情況   抽象   配置   containe   調度策略   容器   執行   

面對各種各樣的服務需要的計算系統和架構，對於資源而言，常見的資源調度方法時靜態劃分方法，架構之間各行其是，但是利用效率低。

調度設計的基本問題：

　　資源具有異質性（有的機器配置高，有的低）所以要分成一個個小粒度的資源　　

　　資料局部性（移動計算而不是移動資料）

　　支援搶佔資源 or not

　　分配資源粒度：全分or不分(MPI)  或者 增量滿足式分配策略（MapReduce）

目前的發展將資源看成一個整體，上方抽象出一個資源調度系統。

常用的資源調度系統模型：

　　負責執行job的機器有一個節點管理器且可劃分為多個相互隔離的容器，每一個容器（Container）都可以執行任務，節點管理器一方面負責本機向資源收集器彙報自己的資源情況，另外一方面負責將任務納入到原生某一個容易中執行。

　　調度器由資源收集器和資源調度策略構成，資源收集器收集節點回傳回來的資源狀態並反映到資源集區中，資源調度策略是負責具體將哪些可用資源分派給哪些任務。

　　常見的調度器有兩級，第一級為中央調度器，可以看到有哪些資源，調度哪些資源分派給各個計算架構（粗粒度），第二季為架構調度器，根據中央調度器分配的資源進一步細粒度的進行資源調度。（Mesos,YARN）

 

【大資料日知錄】叢集資源管理與調度筆記