HIVE中的自訂函數

hive預設的函數並不是太完整，以後我們使用的使用肯定需要自己補充一些。
下面這個例子是個簡單的測試，關於自訂函數的。

函數代碼
package com.example.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

public final class Lower extends UDF {
  public Text evaluate(final Text s) {
    if (s == null) { return null; }
    return new Text(s.toString().toLowerCase());
  }
}

打包
javac -d Lower Lower.java
jar -cvf Lower.jar -C Lower/ .

在hive中添加包
hive> add jar /home/hjl/sunwg/Lower.jar;
Added /home/hjl/sunwg/Lower.jar to class path

在hive中建立函數
hive> create temporary function my_lower as ‘com.example.hive.udf.Lower’;
OK
Time taken: 0.407 seconds

使用函數
hive> select my_lower(name) from test10;

 

上面介紹了HIVE中的自訂函數，有一些函數是比較基礎的，公用的，每次都要create temporary function不免太麻煩了。
這樣的基礎函數需要直接整合到hive中去，避免每次都要建立。

1,添加函數檔案$HIVE_HOME/src/ql/src/java/org/apache/hadoop/hive/ql/udf/UDFSunwg.java
package org.apache.hadoop.hive.ql.udf;

import org.apache.hadoop.hive.ql.exec.Description;
import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;

public final class UDFSunwg extends UDF {
  public Text evaluate(final Text s) {
    if (s == null) { return null; }
    return new Text(s.toString().concat(“sunwg”).toLowerCase());
  }
}

2,將函數sunwg註冊到hive的函數列表中
修改$HIVE_HOME/src/ql/src/java/org/apache/hadoop/hive/ql/exec/FunctionRegistry.java檔案
import org.apache.hadoop.hive.ql.udf.UDFSunwg;

registerUDF(“sunwg”, UDFSunwg.class,false);

3,測試函數sunwg
hive> select sunwg(“abc”) from sunwg00 limit 1;   
Total MapReduce jobs = 1
Launching Job 1 out of 1
Number of reduce tasks is set to 0 since there’s no reduce operator
Starting Job = job_201104091858_381437, Tracking URL = http://hdpjt:50030/jobdetails.jsp?jobid=job_201104091858_381437
Kill Command = /home/dwapp/hadoop/bin/../bin/hadoop job  -Dmapred.job.tracker=hdpjt:9001 -kill job_201104091858_381437
2011-04-21 16:01:28,733 Stage-1 map = 0%,  reduce = 0%
2011-04-21 16:01:34,123 Stage-1 map = 50%,  reduce = 0%
2011-04-21 16:01:35,543 Stage-1 map = 100%,  reduce = 0%
Ended Job = job_201104091858_381437
OK
abcsunwg
Time taken: 48.53 seconds

總結：在hive中添加函數是如此的簡單，建議將公用的基礎函數添加到hive中，而一些個人化的函數還是建立臨時函數。

hive預設的函數並不是太完整，以後我們使用的使用肯定需要自己補充一些。
下面這個例子是個簡單的測試，關於自訂函數的。

函數代碼
package com.example.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

public final class Lower extends UDF {
  public Text evaluate(final Text s) {
    if (s == null) { return null; }
    return new Text(s.toString().toLowerCase());
  }
}

打包
javac -d Lower Lower.java
jar -cvf Lower.jar -C Lower/ .

在hive中添加包
hive> add jar /home/hjl/sunwg/Lower.jar;
Added /home/hjl/sunwg/Lower.jar to class path

在hive中建立函數
hive> create temporary function my_lower as ‘com.example.hive.udf.Lower’;
OK
Time taken: 0.407 seconds

使用函數
hive> select my_lower(name) from test10;

 

上面介紹了HIVE中的自訂函數，有一些函數是比較基礎的，公用的，每次都要create temporary function不免太麻煩了。
這樣的基礎函數需要直接整合到hive中去，避免每次都要建立。

1,添加函數檔案$HIVE_HOME/src/ql/src/java/org/apache/hadoop/hive/ql/udf/UDFSunwg.java
package org.apache.hadoop.hive.ql.udf;

import org.apache.hadoop.hive.ql.exec.Description;
import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;

public final class UDFSunwg extends UDF {
  public Text evaluate(final Text s) {
    if (s == null) { return null; }
    return new Text(s.toString().concat(“sunwg”).toLowerCase());
  }
}

2,將函數sunwg註冊到hive的函數列表中
修改$HIVE_HOME/src/ql/src/java/org/apache/hadoop/hive/ql/exec/FunctionRegistry.java檔案
import org.apache.hadoop.hive.ql.udf.UDFSunwg;

registerUDF(“sunwg”, UDFSunwg.class,false);

3,測試函數sunwg
hive> select sunwg(“abc”) from sunwg00 limit 1;   
Total MapReduce jobs = 1
Launching Job 1 out of 1
Number of reduce tasks is set to 0 since there’s no reduce operator
Starting Job = job_201104091858_381437, Tracking URL = http://hdpjt:50030/jobdetails.jsp?jobid=job_201104091858_381437
Kill Command = /home/dwapp/hadoop/bin/../bin/hadoop job  -Dmapred.job.tracker=hdpjt:9001 -kill job_201104091858_381437
2011-04-21 16:01:28,733 Stage-1 map = 0%,  reduce = 0%
2011-04-21 16:01:34,123 Stage-1 map = 50%,  reduce = 0%
2011-04-21 16:01:35,543 Stage-1 map = 100%,  reduce = 0%
Ended Job = job_201104091858_381437
OK
abcsunwg
Time taken: 48.53 seconds

總結：在hive中添加函數是如此的簡單，建議將公用的基礎函數添加到hive中，而一些個人化的函數還是建立臨時函數。