hadoop三個設定檔的參數含義說明

1       擷取預設配置

配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三個設定檔，預設下來，這些設定檔都是空的，所以很難知道這些設定檔有哪些配置可以生效，上網找的配置可能因為各個hadoop版本不同，導致無法生效。瀏覽更多的配置，有兩個方法:

1.選擇相應版本的hadoop,下載解壓後，搜尋*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,這些就是預設配置,可以參考這些配置的說明和key，配置hadoop叢集。

2.瀏覽apache官網,三個設定檔連結如下:

   http://hadoop.apache.org/common/docs/current/core-default.html

   http://hadoop.apache.org/common/docs/current/hdfs-default.html

   http://hadoop.apache.org/common/docs/current/mapred-default.html

   這裡是瀏覽hadoop目前的版本號的預設設定檔，其他版本號碼，要另外去官網找。其中第一個方法找到預設的配置是最好的，因為每個屬性都有說明，可以直接使用。另外，core-site.xml是全域配置,hdfs-site.xml和mapred-site.xml分別是hdfs和mapred的局部配置。 2       常用的連接埠配置 2.1  HDFS連接埠

 

參數	描述	預設	設定檔	例子值
fs.default.name namenode	namenode RPC互動連接埠	8020	core-site.xml	hdfs://master:8020/
dfs.http.address	NameNode web管理連接埠	50070	hdfs- site.xml	0.0.0.0:50070
dfs.datanode.address	datanode　控制連接埠	50010	hdfs -site.xml	0.0.0.0:50010
dfs.datanode.ipc.address	datanode的RPC伺服器位址和連接埠	50020	hdfs-site.xml	0.0.0.0:50020
dfs.datanode.http.address	datanode的HTTP伺服器和連接埠	50075	hdfs-site.xml	0.0.0.0:50075

  2.2  MR連接埠

參數	描述	預設	設定檔	例子值
mapred.job.tracker	job-tracker互動連接埠	8021	mapred-site.xml	hdfs://master:8021/
job	tracker的web管理連接埠	50030	mapred-site.xml	0.0.0.0:50030
mapred.task.tracker.http.address	task-tracker的HTTP連接埠	50060	mapred-site.xml	0.0.0.0:50060

 

  2.3  其它連接埠

參數	描述	預設	設定檔	例子值
dfs.secondary.http.address	secondary NameNode web管理連接埠	50090	hdfs-site.xml	0.0.0.0:50090

  3       三個預設配置參考檔案說明 3.1  core-default.html

序號	參數名	參數值	參數說明
1	hadoop.tmp.dir	/tmp/hadoop-${user.name}	臨時目錄設定
2	hadoop.native.lib	true	使用本地hadoop庫標識。
3	hadoop.http.filter.initializers		http伺服器過濾鏈設定
4	hadoop.security.group.mapping	org.apache.hadoop.security.ShellBasedUnixGroupsMapping	組內使用者的列表的類設定
5	hadoop.security.authorization	false	服務端認證開啟
6	hadoop.security.authentication	simple	無認證或認證設定
7	hadoop.security.token.service.use_ip	true	是否開啟使用IP地址作為串連的開關
8	hadoop.logfile.size	10000000	記錄檔最大為10M
9	hadoop.logfile.count	10	記錄檔數量為10個
10	io.file.buffer.size	4096	流檔案的緩衝區為4K
11	io.bytes.per.checksum	512	校正位元為512位元組
12	io.skip.checksum.errors	false	校正出錯後是拋出異常還是略過標識。True則略過。
13	io.compression.codecs	org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.BZip2Codec, org.apache.hadoop.io.compress.SnappyCodec	壓縮和解壓的方式設定
14	io.serializations	org.apache.hadoop.io.serializer.WritableSerialization	序例化和還原序列化的類設定
15	fs.default.name	file:///	預設的檔案URI標識設定。
16	fs.trash.interval	0	檔案廢棄標識設定，0為禁止此功能
17	fs.file.impl	org.apache.hadoop.fs.LocalFileSystem	本地檔案操作類設定
18	fs.hdfs.impl	org.apache.hadoop.hdfs.DistributedFileSystem	HDFS檔案操作類設定
19	fs.s3.impl	org.apache.hadoop.fs.s3.S3FileSystem	S3檔案操作類設定
20	fs.s3n.impl	org.apache.hadoop.fs.s3native.NativeS3FileSystem	S3檔案本地操作類設定
21	fs.kfs.impl	org.apache.hadoop.fs.kfs.KosmosFileSystem	KFS檔案操作類設定.
22	fs.hftp.impl	org.apache.hadoop.hdfs.HftpFileSystem	HTTP方式操作檔案設定
23	fs.hsftp.impl	org.apache.hadoop.hdfs.HsftpFileSystem	HTTPS方式操作檔案設定
24	fs.webhdfs.impl	org.apache.hadoop.hdfs.web.WebHdfsFileSystem	WEB方式操作檔案類設定
25	fs.ftp.impl	org.apache.hadoop.fs.ftp.FTPFileSystem	FTP檔案操作類設定
26	fs.ramfs.impl	org.apache.hadoop.fs.InMemoryFileSystem	記憶體檔案操作類設定
27	fs.har.impl	org.apache.hadoop.fs.HarFileSystem	壓縮檔操作類設定.
28	fs.har.impl.disable.cache	true	是否緩衝har檔案的標識設定
29	fs.checkpoint.dir	${hadoop.tmp.dir}/dfs/namesecondary	備份名稱節點的存放目前錄設定
30	fs.checkpoint.edits.dir	${fs.checkpoint.dir}	備份名稱節點記錄檔的存放目前錄設定
31	fs.checkpoint.period	3600	動態檢查的間隔時間設定
32	fs.checkpoint.size