针对虚拟试衣中服装图内模特干扰模型导致人像生成错误的问题,采用SegFormerB0人体解析模型检测人脸、脖子、头发等区域,使用形态学膨胀和cv2inpaint进行抹除修复。该方案在CPU上2-3秒/张,有效消除模特冲突,提升试衣结果一致性。
服装人像抹除:虚拟试衣模特冲突解决方案
时间:2026-06-03
浏览:192
文章目录
服装图人像抹除:解决虚拟试衣中模特冲突的实用方案
我们的团队在开发虚拟试衣产品时遇到了一个常见难题:用户上传一张模特图和一张服装图后,AI需要生成模特穿上衣服的效果。逻辑上没有问题,但产品上线后用户反馈却出乎意料:

许多用户上传的“服装图”本身就带有人像。您可能会想:生图模型已经在提示词中指定“必须使用第一张图片的模特”,但AI偶尔会理解错误——它将服装图中的模特当成目标模特,导致生成的人脸完全不对。
用户直接抱怨:“为什么试衣结果的脸不是我?凭什么给我换了个模特?”
初期我们的对策是让用户多次尝试,但体验确实不佳。问题的根源其实很清晰:服装图中的人像信息干扰了模型的判断。
思路
既然问题出在干扰源,那么最直接有效的办法就是:检测服装图是否包含人像,若有则抹除脸部、脖子、头发等区域,只保留衣服部分,再传给试衣模型。
如此一来,生图模型只能从模特图获取人脸信息,幻觉问题基本解决。
技术方案选型
调研了几种主流方案,进行对比:
| 方案 | CPU 速度 | 精度 | 模型大小 | 说明 |
|---|---|---|---|---|
| SegFormer B0 人体解析 | ~2-3s/张 | 高 | ~50MB | 像素级语义分割,直接包含 Face/Neck/Hair 标签 |
| YOLO + MediaPipe | ~50ms | 中 | ~30MB | 脖子边界靠关键点估算,不够精准 |
| SAM2 | ~10-30s | 极高 | ~2GB | 速度慢、体积大,不适用于CPU |
| RemBG + 人体解析 | ~5-6s | 中 | ~220MB | 两模型串联,延迟翻倍 |
最终选择 SegFormer B0 + ATR 数据集,主要原因如下:
- 单个模型完成检测和分割,无需串联多个模型
- ATR 数据集的标签体系天然包含 Face(11)、Neck(17)、Hair(2)、Hat(1),可直接使用
- B0 是最小变体,在 CPU 上 2-3 秒的处理时间完全可以接受
- HuggingFace 上存在现成预训练模型,开箱即用
至于抹除方式,也对比了几种:
| 方式 | 效果 | 速度 | 推荐度 |
|---|---|---|---|
| cv2 inpainting (Telea) | 边界自然,修复效果好 | ~10ms | 推荐 |
| 马赛克 | 像素化打码 | ~5ms | 看场景 |
| 纯色填充 | 有明显色块 | ~1ms | 不推荐 |
实现过程
1. 人体解析模型
采用 mattmdjaga/segformer_b0_clothes 模型,通过 HuggingFace transformers 加载:
from transformers import SegformerForSemanticSegmentation, SegformerImageProcessor
model = SegformerForSemanticSegmentation.from_pretrained("mattmdjaga/segformer_b0_clothes")
processor = SegformerImageProcessor.from_pretrained("mattmdjaga/segformer_b0_clothes")
模型输出 18 个类别的像素级分割图,需要抹除的类别如下:
ERASE_LABELS = {"Hat", "Hair", "Sunglasses", "Face", "Neck"}
2. Mask 生成与膨胀
获取分割图后,将需要抹除的类别合并为二值 mask,再执行形态学膨胀,确保边缘完整覆盖:
mask = np.isin(seg_map, list(ERASE_IDS)).astype(np.uint8) * 255
kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (31, 31))
mask = cv2.dilate(mask, kernel, iterations=1)
这一步膨胀至关重要——分割边界通常比实际区域小几个像素,不膨胀的话抹除边缘会残留头发丝或脸部轮廓。
3. 抹除
三种方式的实现都很简单:
# Inpaint 修复(推荐)
result = cv2.inpaint(image, mask, inpaint_radius=10, cv2.INPAINT_TELEA)
# 马赛克
# 逐块计算 mask 区域内平均颜色,用平均色填充
# 纯色填充
result[mask == 255] = (128, 128, 128)
4. API 服务封装
使用 FastAPI 封装成服务,接口设计为 base64 进 base64 出,方便虚拟试衣系统直接调用:
POST /api/erase
输入: image(base64) + method + 可选参数
输出: JSON { has_person, detected_parts, image(base64), format, elapsed_seconds }
几个关键设计决策:
- 未检测到人像时原样返回:不做任何重编码,直接回传原始 base64,零体积变化
- 默认输出 JPG 格式:PNG 对照片类图片体积会膨胀 3-4 倍
- 支持
data:image/jpeg;base64,前缀:前端传来的 base64 常带此前缀,自动处理
5. 前端演示页面
附带搭建了一个单页应用,支持拖拽上传、三种抹除方式切换、参数调整、原图与结果左右对比、下载结果。方便向同事展示效果。
最终效果
- 服装图包含模特 → 自动检测并抹除脸部/脖子/头发 → 试衣模型不再受干扰
- 服装图不含模特 → 原样返回,零开销
- CPU 环境下 2-3 秒/张,作为 API 服务完全够用
- 抹除后试衣结果的模特一致性显著提升
项目结构
vtt-mask/
├── app/
│ ├── main.py # FastAPI 服务,路由定义
│ ├── parser.py # SegFormer B0 人体解析模型
│ ├── eraser.py # 抹除逻辑 (inpaint / mosaic / fill)
│ └── static/
│ └── index.html # 前端演示页面
├── requirements.txt
├── API_DOC.md # API 接口文档
└── README.md
调用方式
import requests, base64
with open("clothing.jpg", "rb") as f:
b64 = base64.b64encode(f.read()).decode()
resp = requests.post("http://localhost:8787/api/erase", data={
"image": b64,
"method": "inpaint",
"output_format": "jpg",
})
result = resp.json()
if result["has_person"]:
print("检测到人像,已抹除:", result["detected_parts"])
else:
print("纯服装图,无需抹除")
# result["image"] 为抹除后图片 base64
遇到的坑
- NumPy 版本兼容:onnxruntime 编译时绑定了 NumPy 1.x,如果环境安装了 NumPy 2.x 会直接崩溃。解决方法:
pip install "numpy<2" - ONNX 导出失败:SegFormer 模型具有动态 shape,
torch.onnx.export时出错。最终放弃 ONNX 加速,直接使用 PyTorch CPU 推理,2-3 秒也可以接受 - PNG 体积膨胀:最初版本默认输出 PNG,导致图片体积比原图大 3-4 倍。原因是 PNG 无损压缩对照片效果不佳。改为默认输出 JPG 后体积与原图相近
- 未检测到人像时的重编码问题:早期版本即使不需抹除也会执行
decode → encode,导致 JPEG→PNG 格式变化和体积膨胀。改为直接回传原始字节流后解决
总结
本方案的核心思路简单直接:与其让 AI 不犯错,不如从输入端消除犯错的可能。抹除服装图中的人像信息后,试衣模型只能使用模特图的人脸。
SegFormer B0 模型轻量精准,CPU 即可运行,部署成本低。整个方案从调研到上线仅用一天,效果立竿见影。
实用工具推荐
绿化、压缩、噪点和虚拟水印,自由调节做旧程度。
选择画质和输出格式,预览压缩前后的大小。