Hive Parquet支持的数据类型全解

Hive 中 Parquet 文件格式支持的数据类型覆盖范围广泛，主要分为基本数据类型和复杂数据类型两大类。下图可帮助快速了解整体概况。

基本数据类型

基本数据类型是数据存储的基础，Parquet 提供了完整支持：

• 布尔类型 (BOOLEAN)：表示真或假，最简单的逻辑值。
• 整数类型：按字节长度分为四种——
  • TINYINT：1 字节有符号整数，范围 -128 到 127，适合小量级标识。
  • SMALLINT：2 字节有符号整数，范围 -32,768 到 32,767，中等规模场景适用。
  • INT：4 字节有符号整数，范围约 -21 亿到 21 亿，日常使用最频繁。
  • BIGINT：8 字节有符号整数，范围 -9.22×10 到 9.22×10，用于超大量数据。
• 浮点类型：FLOAT（4 字节单精度）和 DOUBLE（8 字节双精度），精度不同，按实际场景选择。
• 字符串类型：CHAR 为固定长度，VARCHAR 为可变长度，通常采用 UTF-8 编码，灵活性更高。
• 日期和时间类型：DATE 仅存储日期，TIMESTAMP 同时存储日期和时间，TIME 只存储时间，各司其职。

复杂数据类型

面对更结构化的数据时，复杂类型可满足需求：

• STRUCT：结构体，可包含多个不同类型字段，类似面向对象中的对象。
• ARRAY：数组，存储同类型元素，支持顺序存取。
• MAP：映射，以键值对形式存储，键和值均可为任意类型，适合快速查找。

特殊类型

此外，Parquet 还支持以下特殊类型：

• BINARY：原始字节数据，适用于存储二进制文件或序列化对象。
• DECIMAL：精确小数，可指定精度和小数位数，财务场景中必备。
• UNION_TYPE：联合类型，一个字段可能取多种子类型中的一种，灵活性较高但使用较少。

需要留意：随着 Hive 版本迭代，Parquet 对部分数据类型的支持可能有所调整，实际使用时建议查阅最新官方文档进行确认。