Hive复杂数据类型聚合实战指南

在处理海量数据时，我们常常会遇到一些非标准化的、结构复杂的数据。幸运的是，Hive作为一款强大的数据仓库工具，原生支持数组（ARRAY）、结构体（STRUCT）、映射（MAP）和联合类型（UNION TYPE）这几种复杂数据类型。这为我们处理嵌套或半结构化数据提供了极大的便利。但问题来了，这些复杂结构的数据，该如何进行聚合操作呢？

其实，Hive提供了一系列专门的函数来应对这个挑战。下面我们就逐一拆解，看看每种类型该如何“收拾”起来。

1. 数组（ARRAY）的聚合

数组，简单理解就是一个有序的元素集合。在Hive里，想把多个数组“收拢”到一起，主要靠两个函数：COLLECT_LIST 和 COLLECT_SET。

这两个函数名字就很直观：COLLECT_LIST 会把所有元素收集到一个新的列表（数组）里，并且保留原始的顺序和重复项；而 COLLECT_SET 则更注重唯一性，它会自动去重，但代价是元素的顺序可能会被打乱。

来看一个具体的例子就明白了：

CREATE TABLE example_array (id INT, values ARRAY<INT>);

INSERT INTO example_array VALUES (1, ARRAY(1, 2, 3, 4));
INSERT INTO example_array VALUES (2, ARRAY(3, 4, 5, 6));
INSERT INTO example_array VALUES (3, ARRAY(6, 7, 8, 9));

SELECT id, COLLECT_LIST(values) as collected_values
FROM example_array
GROUP BY id;

这段代码会按 id 分组，将每个组内的 values 数组聚合起来。如果你需要的是一个包含所有元素的大数组（允许重复），就用 COLLECT_LIST；如果你想要一个不重复的元素集合，那就换成 COLLECT_SET。

2. 结构体（STRUCT）的聚合

结构体可以把多个不同类型的字段打包成一个整体，比如把用户的姓名和年龄封装在一起。聚合结构体同样可以使用 COLLECT_LIST 和 COLLECT_SET 函数。

需要注意的是，聚合后的结果是一个结构体数组。每个结构体元素的字段顺序和类型，都与原始定义保持一致。

CREATE TABLE example_struct (id INT, details STRUCT<name STRING, age INT>);

INSERT INTO example_struct VALUES (1, STRUCT('Alice', 30));
INSERT INTO example_struct VALUES (2, STRUCT('Bob', 25));
INSERT INTO example_struct VALUES (3, STRUCT('Charlie', 35));

SELECT id, COLLECT_LIST(details) as collected_details
FROM example_struct
GROUP BY id;

这样，查询结果中的 collected_details 字段，就是一个包含了所有用户详情结构体的数组。

3. 映射（MAP）的聚合

映射类型存储的是键值对，这在处理属性动态变化的场景时非常有用。针对MAP的聚合，Hive提供了一个专门的函数：COLLECT_MAP。

这个函数会将多个MAP中的键值对合并到一个新的MAP中。这里有个细节需要注意：如果合并过程中间出现重复的键（Key），那么后面出现的值会覆盖前面的值。这一点在设计和执行聚合逻辑时要特别留意。

CREATE TABLE example_map (id INT, info MAP<STRING, INT>);

INSERT INTO example_map VALUES (1, MAP('key1', 10, 'key2', 20));
INSERT INTO example_map VALUES (2, MAP('key1', 30, 'key3', 40));
INSERT INTO example_map VALUES (3, MAP('key2', 50, 'key3', 60));

SELECT id, COLLECT_MAP(info) as collected_map
FROM example_map
GROUP BY id;

4. 联合类型（UNION TYPE）的聚合

联合类型相对小众，它允许一个字段存储几种预定义类型中的任何一种。聚合联合类型字段，依然可以请出我们的老朋友 COLLECT_LIST 和 COLLECT_SET。

聚合后，你会得到一个数组，里面的每个元素可能是STRING，可能是INT，也可能是BOOLEAN，这完全取决于原始数据。处理这类数据时，类型判断和转换逻辑需要格外小心。

CREATE TABLE example_uniontype (id INT, details UNIONTYPE<STRING, INT, BOOLEAN>);

INSERT INTO example_uniontype VALUES (1, 'Alice');
INSERT INTO example_uniontype VALUES (2, 25);
INSERT INTO example_uniontype VALUES (3, TRUE);

SELECT id, COLLECT_LIST(details) as collected_details
FROM example_uniontype
GROUP BY id;

总的来说，Hive为这些复杂数据类型提供的聚合函数，极大地扩展了数据处理的灵活性和深度。关键在于根据数据的特性和业务需求，选择合适的聚合函数——是保留所有细节的列表，还是去重后的集合，亦或是处理键值覆盖的映射合并。掌握这些方法，你就能游刃有余地应对更复杂的数据场景了。