Hive posexplode简化数据处理方法

使用Hive的posexplode函数高效处理数组数据

在Hive中处理数组或结构类型的数据时，posexplode函数是个非常趁手的工具——它能把数组里的每个元素拆成独立的一行，省去不少手动解析的麻烦。说白了，它就是帮你把“打包”的数据“摊开来”看。

举个具体的例子吧。假设有一张叫user_info的表，里面存着用户ID和他们的兴趣爱好——兴趣爱好的字段类型是数组，每个用户可能喜欢好几样东西。

• id (int)：用户ID
• hobbies (array)：用户的兴趣爱好，以数组形式存储

建表语句是这样的：

CREATE TABLE user_info (id INT,hobbies ARRAY);

然后插入几条数据：

INSERT INTO user_info (id, hobbies)VALUES (1, ARRAY("reading", "tra veling", "sports")), (2, ARRAY("music", "painting")), (3, ARRAY());

现在问题来了：如果想查看每个用户的每一项兴趣爱好，而不是整个数组挤在一起，怎么办？用posexplode就能搞定：

SELECT id, posexplode(hobbies) AS hobbyFROM user_info;

跑完这条查询，结果一目了然：

id | hobby---+------- 1 | reading 1 | tra veling 1 | sports 2 | music 2 | painting 3 | NULL

看到没？每个用户的每个爱好都变成了单独的一行。连第三个用户没有爱好，也老老实实返回了NULL，不会漏掉任何情况。这样一来，后续要做聚合、过滤或者关联分析，就顺手多了。