Python FastAPI上传Excel文件读取与Pydantic Pandas校验指南

FastAPI接收Excel需用UploadFile配合BytesIO和pandas.read_excel解析，再通过Pydantic模型逐行校验字典化数据，不可直接校验DataFrame；注意文件类型、编码、空值及大文件处理。

FastAPI里怎么接收Excel文件上传

想在FastAPI里处理Excel文件？首先得明确一点：框架本身并不直接支持Excel的解析。无论是File还是UploadFile，拿到的都只是原始字节流。接下来的重头戏，得交给pandas.read_excel来完成。别指望Form或Body能自动帮你转换成DataFrame——它们连Excel格式都识别不了。

整个流程的关键点很清晰：上传接口必须使用POST方法，Content-Type设置为multipart/form-data。后端用UploadFile接收文件后，核心操作是用BytesIO把文件内容包装起来，再喂给pandas.read_excel。

• 参数类型别用File(...)，得用UploadFile。
• 注意，UploadFile.filename只是客户端提供的文件名，并非服务器路径，所以千万别直接把它当路径传给read_excel。
• 务必通过await file.read()或file.file.read()获取字节数据，再用BytesIO包装。

from io import BytesIO
import pandas as pd

@app.post("/upload-excel/")
async def upload_excel(file: UploadFile):
    content = await file.read()  # 必须先读取
    df = pd.read_excel(BytesIO(content))  # BytesIO才能被pandas读

用Pydantic模型校验Excel每行数据是否合法

Pydantic本身并不校验DataFrame，但校验单行数据却是它的强项。诀窍在于，先把DataFrame通过df.to_dict("records")转换成Python字典列表，再批量交给Pydantic模型处理。在v1版本中，可以使用parse_obj_list；而v2版本则推荐使用model_validate。一旦校验失败，会抛出ValidationError

有个细节值得注意：对于Pydantic v2用户，更推荐使用MyModel.model_validate(row)进行逐行校验，这比parse_obj_list更容易捕获具体的行号。v1用户则需要自己加上enumerate来追踪索引。

立即学习“Python免费学习笔记（深入）”；

• 字段名必须和Excel列名完全一致（区分大小写），否则ValidationError会提示“field required”。
• 日期列如果包含空值，Pydantic默认不接受NaT，需要设置default=None或使用Optional[date]类型。
• 数值列中如果混入了文本（比如“N/A”、“-”），会导致float校验失败。建议先用pd.to_numeric(..., errors="coerce")将其转为NaN。

from pydantic import BaseModel, field_validator
from datetime import date

class ExcelRow(BaseModel):
    name: str
    age: int
    join_date: date

    @field_validator("join_date")
    def parse_date(cls, v):
        if isinstance(v, str):
            return date.fromisoformat(v)
        return v

校验逻辑示例（v2）

rows = df.to_dict("records")
validated = []
for i, row in enumerate(rows):
    try:
        validated.append(ExcelRow.model_validate(row))
    except ValidationError as e:
        raise HTTPException(422, f"第{i+1}行校验失败: {e}")

为什么不能直接用Pydantic的@validator校验整个DataFrame

原因在于，@validator作用于Pydantic模型的实例化过程，而DataFrame是pandas对象，并非Pydantic模型——它没有__pydantic_core_schema__。如果强行把DataFrame传进去，会直接报错TypeError: unsupported type。

当然，也有人尝试过自定义__get_pydantic_core_schema__来绕过限制，但代价高、维护难，而且会失去Pydantic对嵌套结构、类型转换、错误聚合的原生支持。相比之下，老老实实转换成字典再校验，反而是更稳妥、更高效的选择。

• 不要在Pydantic模型里定义df: pd.DataFrame这样的字段——Pydantic根本不认识pd.DataFrame。
• 别想着用pd.DataFrame.model_validate——这个方法根本不存在。
• 对于整表级别的约束（比如“name列不能有重复值”），需要在所有行都校验完之后，单独编写逻辑处理，这不在Pydantic的职责范围内。

常见报错和绕过方式

在实际操作中，你可能会遇到各种“坑”：上传大Excel文件（>10MB）容易触发client disconnected或Request body too large；读取加密的Excel会报Unsupported format；中文列名乱码显示为Unnamed: 0……需要明确的是，这些问题通常出在IO或pandas层，而不是Pydantic的锅。

• 遇到xlrd.biffh.XLRDError: Excel xlsx file; not supported？升级openpyxl库，并在read_excel中显式指定engine="openpyxl"。
• UnicodeDecodeError（常因误将CSV文件当作XLSX上传导致）？可以先检查file.content_type，确认是否是application/vnd.openxmlformats-officedocument.spreadsheetml.sheet。
• 出现MemoryError？可以尝试使用chunksize参数分块读取文件。不过要注意，这样一来Pydantic校验也得改成流式处理，不能一次性to_dict了。
• 列名带有空格或换行符？用df.columns = df.columns.str.strip()预处理一下即可。

从上传到最终校验，整个Excel处理链路比较长，每个环节都可能出问题。排查时建议按这个顺序来：先检查file.content_type和df.shape，再看df.dtypes——别一上来就急着调用Pydantic的model_dump。