Hive hash与bucketing的关联

Hive 里的哈希分桶（Hash Bucketing）和哈希分区（Hash Partitioning）经常被放在一起讨论，乍一看名字很像，但它们各自解决的场景和实现方式其实有明显区别。简单来说，哈希分区是把数据按列值切分成不同的目录，而哈希分桶则是在分区的基础上再往细了分——在每个分区内部继续拆成更小的“桶”，并且桶内还会排序。这样一来，查询时不仅能跳过无关分区，还能进一步跳过不相关的桶，性能提升不止一点点。

一、哈希分区

先看哈希分区。它依赖 PARTITIONED BY 子句指定一个或多个分区列，Hive 会根据这些列的哈希值把数据均匀分配到不同分区。想象一下，一张全国订单表，按省份分区，查询“北京”的订单时只需要扫北京那个目录，其他省份的数据完全不用碰。这就是分区带来的局部性优势。

示例：

CREATE TABLE example_table (
  id INT,
  name STRING,
  age INT
) PARTITIONED BY (country STRING);

二、哈希分桶

再看哈希分桶。它在分区的“骨架”上进一步细化——用 CLUSTERED BY 子句指定分桶列，Hive 根据这些列的哈希值将每个分区内部的数据打散到固定数量的桶中；再用 SORTED BY 子句指定排序字段，每个桶内的数据按该字段有序排列。这样做的好处是，当查询条件命中分桶列时，可以精准定位到某个桶，甚至桶内数据因为已经排好序，还能加速后续的 join 或 group by 操作。

示例：

CREATE TABLE example_table (
  id INT,
  name STRING,
  age INT
) CLUSTERED BY (id) SORTED BY (age);

三、要点总结

把两者的要点整理一下：

• 哈希分区：按列值将数据拆分到不同分区，查询时裁剪分区，减少扫描量。
• 哈希分桶：在分区内部进一步按哈希值拆成更小的桶，桶内数据按指定列排序，查询时既能跳过分区，又能跳过桶，还能利用有序特性提升效率。
• 两者都用哈希函数来做数据分布，但分桶多了一步排序——这一步正是它比单纯分区性能更极致的关键所在。