原创

Hive自定义函数

自定义函数包括三种UDF、UDAF、UDTF

UDF(User-Defined-Function) ：一进一出
UDAF(User- Defined Aggregation Funcation) ：聚集函数，多进一出。Count/max/min
UDTF(User-Defined Table-Generating Functions) :一进多出，如explore()

UDF 开发
1、UDF函数可以直接应用于select语句，对查询结构做格式化处理后，再输出内容。
2、编写UDF函数的时候需要注意一下几点：
a）自定义UDF需要继承org.apache.hadoop.hive.ql.UDF。
b）需要实现evaluate函数，evaluate函数支持重载。

3、步骤
(1)将jar包上传到虚拟机中：

a）把程序打包放到目标机器上去；

b）进入hive客户端，添加jar包：hive>add jar /run/jar/udf_test.jar;

c）创建临时函数：hive>CREATE TEMPORARY FUNCTION add_example AS 'hive.udf.Add';

d）查询HQL语句：
SELECT add_example(8, 9) FROM scores;
SELECT add_example(scores.math, scores.art) FROM scores;
SELECT add_example(6, 7, 8, 6.8) FROM scores;

e）销毁临时函数：hive> DROP TEMPORARY FUNCTION add_example;

注意：此种方式创建的函数属于临时函数，当关闭了当前会话之后，函数会无法使用，因为jar的引用没有了，无法找到对应的java文件进行处理，因此不推荐使用。

(2)将jar包上传到hdfs集群中：

a）把程序打包上传到hdfs的某个目录下

b）创建函数：hive>CREATE FUNCTION add_example AS 'hive.udf.Add' using jar "hdfs://mycluster/jar/udf_test.jar";

d）查询HQL语句：
SELECT add_example(8, 9) FROM scores;
SELECT add_example(scores.math, scores.art) FROM scores;
SELECT add_example(6, 7, 8, 6.8) FROM scores;

e）销毁临时函数：hive> DROP FUNCTION add_example;

本文链接地址：http://www.ysxbohui.com/article/149

正文到此结束

所属分类：大数据

本文标签： 大数据 Hive 函数
本文链接： http://www.ysxbohui.com/article/149
版权声明： 本文由狂奔的程序猿原创发布，转载请遵循《署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0)》许可协议授权

Hive自定义函数

热门推荐

相关文章

关于我

近期评论

网站信息