← 返回博客U²-Net、ISNet 与 SAM:三大抠图模型深度技术对比
发布:2026-10-10
为什么模型选择很重要?
不同的分割模型在精度、速度、资源消耗之间做出不同权衡。一个在服务器上运行 5 秒的高精度模型,可能无法在手机浏览器中运行。选择合适的模型直接决定了用户的抠图体验。
三大模型技术概览
| U²-Net | ISNet | SAM (MobileSAM) |
|---|
| 发布年份 | 2020 | 2022 | 2023 |
| 参数量 | 4.7M (lite) | ~44M | ~10M |
| 训练数据 | DUTS (10K) | HRSOD/LDIS | SA-1B (11亿掩码) |
| 推理速度* | ~200ms | ~800ms | ~50ms (解码) |
| 边缘精度 | 中等 | 优秀 | 取决于提示 |
| 浏览器运行 | ✅ 2.4MB | ❌ 需服务器 | ✅ 量化后 23MB |
*在桌面级 CPU(Intel i7)320×320 输入的近似值。
U²-Net:轻量级全场景分割
U²-Net 的核心创新是嵌套 U 型结构。传统 U-Net 的每一层是一个卷积块,而 U²-Net 的每一层本身就是一个小的 U-Net(称为 RSU 块),从而在不增加参数量的前提下扩大感受野。
优势
- 模型极小(FP16 量化后仅 2.4MB),可在浏览器中通过 WebAssembly 实时运行
- 对常见物体(人物、产品、动物)的分割效果可靠
- 不需要任何用户提示,全自动分割最显著的物体
劣势
- 对复杂边缘(发丝、透明物体)的精度不如大模型
- 输入分辨率固定 320×320,上采样后边缘可能有锯齿
- 对多物体场景只能选择「最显著」的一个
ISNet:高精度边缘分割
ISNet 专注于边缘质量,引入了「语义边缘注意力」机制——在解码器的每一层都显式地监督边缘信息,使输出掩码在物体边界处更加锐利。
优势
- 边缘精度业界领先,发丝级细节处理极佳
- 在 DIS5K(困难分割数据集)上排名第一
- 支持更高分辨率的输入(1024×1024)
劣势
- 模型较大(~44M 参数),不适合浏览器运行
- 需要 GPU 服务器支持
SAM:可提示的通用分割
SAM(Segment Anything Model)由 Meta AI 于 2023 年发布,是第一个在超大规模数据集(SA-1B,包含 11 亿个掩码)上训练的通用分割模型。革命性在于「可提示」:用户点击图上的任意位置,模型就能分割对应的物体。
优势
- 通用性极强——一个模型分割一切(人物、动物、家具、食物等)
- 支持点、框、文本等多种提示方式
- 交互式精修体验优秀——点击即可擦除或恢复区域
劣势
- 全自动模式(无提示)的精度不如专用显著性分割模型
- 完整版模型太大(~600MB),MobileSAM 量化后约 23MB
实测对比:同一张图上的差异
- 简单物体(鞋子、杯子):三个模型表现接近,U²-Net 已足够
- 人物头发:ISNet 明显优于 U²-Net;SAM 在正确提示后也能接近
- 透明物体(玻璃杯):ISNet 最稳定;SAM 需要多次提示修正
- 多物体场景:SAM 可以精确选择目标;其他模型只能分最显著的
本站的多引擎架构
卷卷的小工具采用多引擎路由策略,保证高可用 + 高质量:
- 云端优先:ISNet 处理(质量最好,3-10 秒)
- 本机兜底:U²-Net 在浏览器运行(免费,1-2 秒)
- 精修补充:MobileSAM 驱动「智能精修」(点选擦除/恢复)
English Summary
U²-Net 的核心创新是嵌套 U 型结构。传统 U-Net 的每一层是一个卷积块,而 U²-Net 的每一层本身就是一个小的 U-Net(称为 RSU 块),从而在不增加参数量的前提下扩大感受野。