MultipleInputs.addInputPath注意點

MultipleInputs.addInputPath注意點 博客分類： Hadoop Hadoop&HTTP://www.aliyun.com/zixun/aggregation/37954.html"> nbsp; 原創，轉載請注明出處：





使用MultipleInputs.addInputPath添加多輸入源（超過兩個）的時候：


MultipleInputs.addInputPath(conf, new Path(otheArgs[0]), TextInputFormat.class,JoinNodeMapper2.class); MultipleInputs.addInputPath(conf, new Path(otheArgs[1]), TextInputFormat.class,JoinMemMapper2.class); MultipleInputs.addInputPath(conf, new Path(otheArgs[2]), TextInputFormat.class,JoinCPUMapper2.class);


我的檔案格式是：


otheArgs[0]指向的檔案格式：


key1 keyname1key2 keyname2


otheArgs[1]指向的檔案格式：


key1 valA1key2 valA2


otheArgs[2]指向的檔案格式：


key1 valB1key2 valB2





在elipse裡面運行指定參數的時候,如果otheArgs[2]和otheArgs[1]相同，那麼此時MultipleInputs只執行其中一條addInputPath語句，我的測試環境中測試出來的結果就是執行了


MultipleInputs.addInputPath(conf, new Path(otheArgs[2]), TextInputFormat.class,JoinCPUMapper2.class);


1.要求otheArgs[2]和otheArgs[1]要不一樣。


2.reduce之後生成檔是：


key1 keyname1 valA1key2 keyname2 valA2key1 keyname1 valB1key2 keyname2 valB2


而不是：


key1 keyname1 valA1 valB1key2 keyname2 valA2 valB2


所以要實現第二種join的結果，我211.html">覺得還是要使用MapReduce job流的相關控制了。