問題導讀: 1.DataNode的http服務的連接埠、ipc服務的連接埠分別是哪個。 2.NameNode的http服務的連接埠、ipc服務的連接埠分別是哪個。 3.journalnode的http服務的連接埠、ipc服務的連接埠分別是哪個。 4.ResourceManager的http服務連接埠是哪個。 5.NodeManager的http服務連接埠是哪個。 6.Master的http服務的連接埠、ipc服務的連接埠分別是哪個。 7.3888是誰的連接埠,用來做什麼。 擴充: hadoop1.X對應連接埠是哪個。 9000、9001分別對應是hadoop2.X的那個連接埠。
Hadoop叢集的各部分一般都會使用到多個連接埠,有些是daemon之間進行互動之用,有些是用於RPC訪問以及HTTP訪問。而隨著Hadoop周邊組件的增多,完全記不住哪個連接埠對應哪個應用,特收集記錄如此,以便查詢。 這裡包含我們使用到的組件:HDFS, YARN, HBase, Hive, ZooKeeper:
| 組件 |
節點 |
預設連接埠 |
配置 |
用途說明 |
| HDFS |
DataNode |
50010 |
dfs.datanode.address |
datanode服務連接埠,用於資料轉送 |
| HDFS |
DataNode |
50075 |
dfs.datanode.http.address |
http服務的連接埠 |
| HDFS |
DataNode |
50475 |
dfs.datanode.https.address |
https服務的連接埠 |
| HDFS |
DataNode |
50020 |
dfs.datanode.ipc.address |
ipc服務的連接埠 |
| HDFS |
NameNode |
50070 |
dfs.namenode.http-address |
http服務的連接埠 |
| HDFS |
NameNode |
50470 |
dfs.namenode.https-address |
https服務的連接埠 |
| HDFS |
NameNode |
8020 |
fs.defaultFS |
接收Client串連的RPC連接埠,用於擷取檔案系統metadata資訊。 |
| HDFS |
journalnode |
8485 |
dfs.journalnode.rpc-address |
RPC服務 |
| HDFS |
journalnode |
8480 |
dfs.journalnode.http-address |
HTTP服務 |
| HDFS |
ZKFC |
8019 |
dfs.ha.zkfc.port |
ZooKeeper FailoverController,用於NN HA |
| YARN |
ResourceManager |
8032 |
yarn.resourcemanager.address |
RM的applications manager(ASM)連接埠 |
| YARN |
ResourceManager |
8030 |
yarn.resourcemanager.scheduler.address |
scheduler組件的IPC連接埠 |
| YARN |
ResourceManager |
8031 |
yarn.resourcemanager.resource-tracker.address |
IPC |
| YARN |
ResourceManager |
8033 |
yarn.resourcemanager.admin.address |
IPC |
| YARN |
ResourceManager |
8088 |
yarn.resourcemanager.webapp.address |
http服務連接埠 |
| YARN |
NodeManager |
8040 |
yarn.nodemanager.localizer.address |
localizer IPC |
| YARN |
NodeManager |
8042 |
yarn.nodemanager.webapp.address |
http服務連接埠 |
| YARN |
NodeManager |
8041 |
yarn.nodemanager.address |
NM中container manager的連接埠 |
| YARN |
JobHistory Server |
10020 |
mapreduce.jobhistory.address |
IPC |
| YARN |
JobHistory Server |
19888 |
mapreduce.jobhistory.webapp.address |
http服務連接埠 |
| HBase |
Master |
60000 |
hbase.master.port |
IPC |
| HBase |
Master |
60010 |
hbase.master.info.port |
http服務連接埠 |
| HBase |
RegionServer |
60020 |
hbase.regionserver.port |
IPC |
| HBase |
RegionServer |
60030 |
hbase.regionserver.info.port |
http服務連接埠 |
| HBase |
HQuorumPeer |
2181 |
hbase.zookeeper.property.clientPort |
HBase-managed ZK mode,使用獨立的ZooKeeper叢集則不會啟用該連接埠。 |
| HBase |
HQuorumPeer |
2888 |
hbase.zookeeper.peerport |
HBase-managed ZK mode,使用獨立的ZooKeeper叢集則不會啟用該連接埠。 |
| HBase |
HQuorumPeer |
3888 |
hbase.zookeeper.leaderport |
HBase-managed ZK mode,使用獨立的ZooKeeper叢集則不會啟用該連接埠。 |
| Hive |
Metastore |
9083 |
/etc/default/hive-metastore中export PORT=<port>來更新預設連接埠 |
|