hadoop2.x常用連接埠、定義方法及預設連接埠、hadoop1.X連接埠對比

來源:互聯網
上載者:User

問題導讀: 1.DataNode的http服務的連接埠、ipc服務的連接埠分別是哪個。 2.NameNode的http服務的連接埠、ipc服務的連接埠分別是哪個。 3.journalnode的http服務的連接埠、ipc服務的連接埠分別是哪個。 4.ResourceManager的http服務連接埠是哪個。 5.NodeManager的http服務連接埠是哪個。 6.Master的http服務的連接埠、ipc服務的連接埠分別是哪個。 7.3888是誰的連接埠,用來做什麼。 擴充: hadoop1.X對應連接埠是哪個。 9000、9001分別對應是hadoop2.X的那個連接埠。


Hadoop叢集的各部分一般都會使用到多個連接埠,有些是daemon之間進行互動之用,有些是用於RPC訪問以及HTTP訪問。而隨著Hadoop周邊組件的增多,完全記不住哪個連接埠對應哪個應用,特收集記錄如此,以便查詢。 這裡包含我們使用到的組件:HDFS, YARN, HBase, Hive, ZooKeeper:
組件 節點 預設連接埠 配置 用途說明
HDFS DataNode 50010 dfs.datanode.address datanode服務連接埠,用於資料轉送
HDFS DataNode 50075 dfs.datanode.http.address http服務的連接埠
HDFS DataNode 50475 dfs.datanode.https.address https服務的連接埠
HDFS DataNode 50020 dfs.datanode.ipc.address ipc服務的連接埠
HDFS NameNode 50070 dfs.namenode.http-address http服務的連接埠
HDFS NameNode 50470 dfs.namenode.https-address https服務的連接埠
HDFS NameNode 8020 fs.defaultFS 接收Client串連的RPC連接埠,用於擷取檔案系統metadata資訊。
HDFS journalnode 8485 dfs.journalnode.rpc-address RPC服務
HDFS journalnode 8480 dfs.journalnode.http-address HTTP服務
HDFS ZKFC 8019 dfs.ha.zkfc.port ZooKeeper FailoverController,用於NN HA
YARN ResourceManager 8032 yarn.resourcemanager.address RM的applications manager(ASM)連接埠
YARN ResourceManager 8030 yarn.resourcemanager.scheduler.address scheduler組件的IPC連接埠
YARN ResourceManager 8031 yarn.resourcemanager.resource-tracker.address IPC
YARN ResourceManager 8033 yarn.resourcemanager.admin.address IPC
YARN ResourceManager 8088 yarn.resourcemanager.webapp.address http服務連接埠
YARN NodeManager 8040 yarn.nodemanager.localizer.address localizer IPC
YARN NodeManager 8042 yarn.nodemanager.webapp.address http服務連接埠
YARN NodeManager 8041 yarn.nodemanager.address NM中container manager的連接埠
YARN JobHistory Server 10020 mapreduce.jobhistory.address IPC
YARN JobHistory Server 19888 mapreduce.jobhistory.webapp.address http服務連接埠
HBase Master 60000 hbase.master.port IPC
HBase Master 60010 hbase.master.info.port http服務連接埠
HBase RegionServer 60020 hbase.regionserver.port IPC
HBase RegionServer 60030 hbase.regionserver.info.port http服務連接埠
HBase HQuorumPeer 2181 hbase.zookeeper.property.clientPort HBase-managed ZK mode,使用獨立的ZooKeeper叢集則不會啟用該連接埠。
HBase HQuorumPeer 2888 hbase.zookeeper.peerport HBase-managed ZK mode,使用獨立的ZooKeeper叢集則不會啟用該連接埠。
HBase HQuorumPeer 3888 hbase.zookeeper.leaderport HBase-managed ZK mode,使用獨立的ZooKeeper叢集則不會啟用該連接埠。
Hive Metastore 9083 /etc/default/hive-metastore中export PORT=<port>來更新預設連接埠

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.