Meta 推出 SAM 3D：只用几张照片，就能生成真实 3D 模型

近日，Meta（前 Facebook） 在其 AI 系列中推出了令人瞩目的两个新模型：SAM 3 和 SAM 3D。其中，SAM 3D 是一个突破性进展--它能够仅通过一张二维 (2D) 图像，重建出物体或人物的三维 (3D) 几何结构和纹理。

一、SAM 3D 是什么？

SAM 系列（Segment Anything Model）是 Meta 的视觉基础模型 (vision foundation model)，其目标是让 AI 能够识别、分割、理解图像中的任意对象。SAM 3D 是该系列迈向三维理解的重要一步。

具体来说，SAM 3D 包含两个子模型：

SAM 3D Objects：针对物体和场景进行重建，能够预测完整的三维形状（geometry）、纹理 (texture)、空间布局 (layout) 等。
SAM 3D Body：专注于人体重建，从单张人像图像估算出 3D 身体网格 (mesh)，包括姿势 (pose) 和形状 (shape)。

Meta 称，SAM 3D 在公开基准测试中表现优异，并显著优于现有方法。原创文章，更多AI科技内容，微信搜索橙市播客小程序

SAM 3D 的关键能力是 从单张图片生成 3D。这意味着，无需多视角 (multi-view) 图像或深度传感器 (如 LiDAR)，AI 就能推断物体或场景的三维结构。Meta 将其称为 “AI 引导的 3D 重建 (AI-guided 3D reconstruction) 新标准”。

SAM 3D Objects 在真实世界场景（可能有遮挡、复杂背景等）中表现出色。Meta 在其 GitHub 代码库中指出，该模型得益于渐进式训练 (progressive training) 以及人类反馈 (human feedback) 驱动的数据引擎。
SAM 3D Body 对人体姿势和遮挡具有较强的鲁棒性。Meta 已经公开其推理 (inference) 代码与模型 checkpoint，并在 GitHub 提供示例 notebook，说明如何使用提示 (prompts) - 例如关键点 (keypoint)、遮罩 (mask) 或手部 (hands) refine - 来提升人体重建质量。

Meta 发布了 模型 checkpoint 和 推理 (inference) 代码，方便研究者和开发者使用。
同时，Meta 推出了一个新的评估基准 (benchmark) -- SAM 3D Artist Objects，这是一个由艺术家参与构造的数据集，提供多样化的物体和图像，用于衡量 3D 重建在真实、复杂物体上的性能。
在 GitHub 上，SAM 3D Objects 和 SAM 3D Body 的代码库公开，用户可以访问示例 notebook，并导出 3D 资源（如 PLY 模型）。
```
原创文章，更多AI科技内容，微信搜索 橙市播客 小程序：https://csbk.dcsnet.cn/archives/896.html
```

推出 SAM 3D 不仅是技术层面的创新，同时也深刻契合 Meta 对未来视觉平台 (如 AR/VR / 元宇宙) 的战略布局。

Meta 产品整合：Meta 表示，将在其平台（如 Facebook Marketplace）中使用 SAM 3D 实现 “View in Room (在房间中预览)” 功能，让用户通过手机看到家具、装饰品等物体在自己空间里的三维效果。 ([Facebook][1])
创作者与内容工具：SAM 3D 可为创作者提供强大的资产生成能力：游戏道具 (game assets)、3D 特效、交互式内容等。它让 “2D 图像 → 3D 模型” 的流程变得更简单、更低门槛。
科研与产业：Meta 提到，该技术在机器人 (robotics)、科学研究、运动医学 (sports medicine) 等领域具有深远意义。3D 重建能力可以用于机器人的视觉感知、人体运动分析等。
开放平台：Meta 推出了 Segment Anything Playground (可视化体验平台)，任何人都可以上传图像 / 视频，通过简单提示 (prompt) 体验 SAM 3 和 SAM 3D 的功能，无需技术背景。

尽管 SAM 3D 很强大，但仍存在一定挑战：

单张图像预测 3D 本质上是一个 “不完备问题 (ill-posed problem)”：背后隐藏结构 (被遮挡部分)、纹理复杂、反射面 (镜面)、半透明物体等，仍然难以完全准确重建。
与多视角 (multi-view) 或深度传感 (depth sensor) 技术相比，其重建精度、细节 (如非常细微纹理、内部结构) 可能仍有限。

推动 3D 创作民主化：SAM 3D 有潜力将 3D 建模门槛大幅降低，让更多创作者 (设计师、游戏制作者、AR/VR 开发者) 能够轻松将照片变成 3D 资产。
加速研究与工业落地：通过开放模型、代码和基准数据集，Meta 将促进学术界与产业界对 “图像到三维 (image-to-3D)” 方向的深入探索。
实现新型交互方式：结合 Meta 现有平台 (如智能眼镜、AR 应用)，SAM 3D 能够用于实时物体识别、空间理解、增强现实场景重建等。
跨学科应用：除创意产业外，其在机器人感知 (机器人能“看到”和理解真实物体形状)、运动医学 (通过 3D 人体重建分析运动损伤)、虚拟试衣 (fashion)、家居布置 (通过 3D 可视化家具) 等领域，都具备巨大潜力。

Meta 的 SAM 3D 是其视觉基础模型 (VFM) “Segment Anything” 系列中具有里程碑意义的一步。它从单张图像中实现三维重建，将 2D 静态图像提升为可操作、可编辑的 3D 资产。这不仅是技术上的突破，也为创作者、开发者、企业提供了新的可能性。

原创文章，更多AI科技内容，微信搜索橙市播客小程序

微信扫描下方的二维码阅读更多精彩内容

声明：本站所有文章，如无特殊说明或标注，均为橙市播客原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。