服装人像抹除:虚拟试衣模特冲突解决方案

作者:技术拾光

时间:2026-06-03

浏览:192

针对虚拟试衣中服装图内模特干扰模型导致人像生成错误的问题,采用SegFormerB0人体解析模型检测人脸、脖子、头发等区域,使用形态学膨胀和cv2inpaint进行抹除修复。该方案在CPU上2-3秒/张,有效消除模特冲突,提升试衣结果一致性。

文章目录

服装图人像抹除:解决虚拟试衣中模特冲突的实用方案

我们的团队在开发虚拟试衣产品时遇到了一个常见难题:用户上传一张模特图和一张服装图后,AI需要生成模特穿上衣服的效果。逻辑上没有问题,但产品上线后用户反馈却出乎意料:

服装人像抹除:虚拟试衣模特冲突解决方案

许多用户上传的“服装图”本身就带有人像。您可能会想:生图模型已经在提示词中指定“必须使用第一张图片的模特”,但AI偶尔会理解错误——它将服装图中的模特当成目标模特,导致生成的人脸完全不对。

用户直接抱怨:“为什么试衣结果的脸不是我?凭什么给我换了个模特?”

初期我们的对策是让用户多次尝试,但体验确实不佳。问题的根源其实很清晰:服装图中的人像信息干扰了模型的判断。

思路

既然问题出在干扰源,那么最直接有效的办法就是:检测服装图是否包含人像,若有则抹除脸部、脖子、头发等区域,只保留衣服部分,再传给试衣模型。

如此一来,生图模型只能从模特图获取人脸信息,幻觉问题基本解决。

技术方案选型

调研了几种主流方案,进行对比:

方案CPU 速度精度模型大小说明
SegFormer B0 人体解析~2-3s/张高~50MB像素级语义分割,直接包含 Face/Neck/Hair 标签
YOLO + MediaPipe~50ms中~30MB脖子边界靠关键点估算,不够精准
SAM2~10-30s极高~2GB速度慢、体积大,不适用于CPU
RemBG + 人体解析~5-6s中~220MB两模型串联,延迟翻倍

最终选择 SegFormer B0 + ATR 数据集,主要原因如下:

  • 单个模型完成检测和分割,无需串联多个模型
  • ATR 数据集的标签体系天然包含 Face(11)、Neck(17)、Hair(2)、Hat(1),可直接使用
  • B0 是最小变体,在 CPU 上 2-3 秒的处理时间完全可以接受
  • HuggingFace 上存在现成预训练模型,开箱即用

至于抹除方式,也对比了几种:

方式效果速度推荐度
cv2 inpainting (Telea)边界自然,修复效果好~10ms 推荐
马赛克像素化打码~5ms 看场景
纯色填充有明显色块~1ms 不推荐

实现过程

1. 人体解析模型

采用 mattmdjaga/segformer_b0_clothes 模型,通过 HuggingFace transformers 加载:

from transformers import SegformerForSemanticSegmentation, SegformerImageProcessor
model = SegformerForSemanticSegmentation.from_pretrained("mattmdjaga/segformer_b0_clothes")
processor = SegformerImageProcessor.from_pretrained("mattmdjaga/segformer_b0_clothes")

模型输出 18 个类别的像素级分割图,需要抹除的类别如下:

ERASE_LABELS = {"Hat", "Hair", "Sunglasses", "Face", "Neck"}

2. Mask 生成与膨胀

获取分割图后,将需要抹除的类别合并为二值 mask,再执行形态学膨胀,确保边缘完整覆盖:

mask = np.isin(seg_map, list(ERASE_IDS)).astype(np.uint8) * 255
kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (31, 31))
mask = cv2.dilate(mask, kernel, iterations=1)

这一步膨胀至关重要——分割边界通常比实际区域小几个像素,不膨胀的话抹除边缘会残留头发丝或脸部轮廓。

3. 抹除

三种方式的实现都很简单:

# Inpaint 修复(推荐)
result = cv2.inpaint(image, mask, inpaint_radius=10, cv2.INPAINT_TELEA)

# 马赛克
# 逐块计算 mask 区域内平均颜色,用平均色填充

# 纯色填充
result[mask == 255] = (128, 128, 128)

4. API 服务封装

使用 FastAPI 封装成服务,接口设计为 base64 进 base64 出,方便虚拟试衣系统直接调用:

POST /api/erase
输入: image(base64) + method + 可选参数
输出: JSON { has_person, detected_parts, image(base64), format, elapsed_seconds }

几个关键设计决策:

  • 未检测到人像时原样返回:不做任何重编码,直接回传原始 base64,零体积变化
  • 默认输出 JPG 格式:PNG 对照片类图片体积会膨胀 3-4 倍
  • 支持 data:image/jpeg;base64, 前缀:前端传来的 base64 常带此前缀,自动处理

5. 前端演示页面

附带搭建了一个单页应用,支持拖拽上传、三种抹除方式切换、参数调整、原图与结果左右对比、下载结果。方便向同事展示效果。

最终效果

  • 服装图包含模特 → 自动检测并抹除脸部/脖子/头发 → 试衣模型不再受干扰
  • 服装图不含模特 → 原样返回,零开销
  • CPU 环境下 2-3 秒/张,作为 API 服务完全够用
  • 抹除后试衣结果的模特一致性显著提升

项目结构

vtt-mask/
├── app/
│   ├── main.py        # FastAPI 服务,路由定义
│   ├── parser.py      # SegFormer B0 人体解析模型
│   ├── eraser.py      # 抹除逻辑 (inpaint / mosaic / fill)
│   └── static/
│       └── index.html # 前端演示页面
├── requirements.txt
├── API_DOC.md         # API 接口文档
└── README.md

调用方式

import requests, base64

with open("clothing.jpg", "rb") as f:
    b64 = base64.b64encode(f.read()).decode()

resp = requests.post("http://localhost:8787/api/erase", data={
    "image": b64,
    "method": "inpaint",
    "output_format": "jpg",
})
result = resp.json()

if result["has_person"]:
    print("检测到人像,已抹除:", result["detected_parts"])
else:
    print("纯服装图,无需抹除")

# result["image"] 为抹除后图片 base64

遇到的坑

  • NumPy 版本兼容:onnxruntime 编译时绑定了 NumPy 1.x,如果环境安装了 NumPy 2.x 会直接崩溃。解决方法:pip install "numpy<2"
  • ONNX 导出失败:SegFormer 模型具有动态 shape,torch.onnx.export 时出错。最终放弃 ONNX 加速,直接使用 PyTorch CPU 推理,2-3 秒也可以接受
  • PNG 体积膨胀:最初版本默认输出 PNG,导致图片体积比原图大 3-4 倍。原因是 PNG 无损压缩对照片效果不佳。改为默认输出 JPG 后体积与原图相近
  • 未检测到人像时的重编码问题:早期版本即使不需抹除也会执行 decode → encode,导致 JPEG→PNG 格式变化和体积膨胀。改为直接回传原始字节流后解决

总结

本方案的核心思路简单直接:与其让 AI 不犯错,不如从输入端消除犯错的可能。抹除服装图中的人像信息后,试衣模型只能使用模特图的人脸。

SegFormer B0 模型轻量精准,CPU 即可运行,部署成本低。整个方案从调研到上线仅用一天,效果立竿见影。

实用工具推荐

电子包浆

绿化、压缩、噪点和虚拟水印,自由调节做旧程度。

使用 ›
图片压缩

选择画质和输出格式,预览压缩前后的大小。

使用 ›