简体中文 | English
2026-10-03:相机标定、真实场景对照与几何/纹理修复。 逐帧 K/位姿贯穿预处理、建模、渲染与结构检查。 ETH3D 收货区保留原生流程与 AWSM 协议移植的独立对照;后续修复原生候选的外壳、部件变换与源照片纹理。 修复版复用的测试集已经暴露,按诊断结果报告;失败候选、局部回归和原生验收边界均保留。 相机接口 · 原始独立对照 · 几何/纹理修复、预览与验证。
从一张 RGB 照片出发,构建可编辑的三维部件与场景。GPT-6 Astra 负责观察、建模决策和预览复查,Blender 与 Python 完成场景构建;联网检索为尺寸、型号和材料提供可追溯的候选依据,按需启用关节和柔体仿真。
| 能力 | 我们的特点 | 使用与证据 |
|---|---|---|
| 单图重建 | 无需先采集视频或多视角;输出可编辑部件,支持相机、布局和局部几何修订。绝对尺度需要尺寸依据或明确的先验。 | Desk1 可编辑场景 |
| 联网检索 | 检索候选商品规格与材料信息,保存来源快照、单位和冲突;记录先验是否真正用于建模。 | 原生检索链路 |
| 铰链交互 | 门板与框架分离,显式定义转轴、关节限位和接触,可在仿真中检查运动。 | 动力学案例与测量 |
| 布料与体积柔体 | 分别支持表面弯曲/拉伸和体积压缩,保留位移、接触与稳定性检查。 | 配置和适用范围 |
铰链、布料和体积柔体默认关闭、可独立启用,已有附带仿真案例;单张照片不能确定真实弹性参数。以下 Desk1 对照评测静态外观,未评测这些动力学能力。
在本轮静态适配条件下,我们的联网先验方案 C 比两条参考适配路线有更低的源图误差。 同一张图、同四个前景区域,RGB MAE 范围 0–255,越低越好:
| 实际运行条件 | 前景 RGB MAE ↓ | 全图 RGB MAE ↓ |
|---|---|---|
| 本项目 C:单图+联网软尺寸先验 | 14.48 | 15.37 |
| AHa-inspired:Pi3X 单图静态适配+RGB 背景修正 | 15.68 | 16.28 |
| Real2Gym-inspired:MoGe-3 静态适配+RGB 背景修正 | 17.75 | 22.51 |
**比较范围:**两条参考路线共享我们编写的实例适配器,未运行作者完整框架或独立 Astra 迭代,监督与优化预算也未匹配。数字只衡量源图贴合,不代表三维真值精度、完整项目排名或“单图 SOTA”。历史候选 A 的图像误差更低,但仍有 21.3° 最大直角偏差;全部版本和失败记录均保留。完整对照与原始数值 · 联网先验 A/B/C 实验
生成技能、统一生成流、独立场景与研究分支已整合,支持原生 quality_v2 流程。本次首页与分支整合记录 · 快速开始
历史进展与验证记录
**2026-09-30 正式分支整合版:**研究与生成流已统一,最终 14/14 组回归通过。原生 Blender 为权威场景,GLB/USD 外观差异仍明确保留;结果不一致的法线删除实验未作为默认修复。此版本不宣称 SOTA。发布与验证记录。
生成流技能接入: quality_v2 可直接执行 RoomKit 部件建模、Pi3X 参考状态/输出消费,以及渲染后的局部差异反馈。三个技能随仓库分发,反馈进入原有审查与修订回路;Pi3X 未就绪时保留阻塞状态,不自动恢复安装。接入与使用。
**并行实测更新:**已执行固定两轮反馈 A/B、五组组合对照和新的 DROID 接触仿真。组合候选改善了柜体粗轮廓与风口区域误差,床品误差未改善;尚未达到整场景视觉验收或 SOTA。完整结果与失败记录。
**2026-09-29 能力研究进展:**新增结构碰撞修复、固定相机几何反馈、有来源的材料/接触先验与任务轨迹验收。铰链、布料和体积柔体保持可选,默认关闭。同一保留场景的碰撞对照由失败变为通过,14 项回归通过;不改变历史视觉验收结论,也不代表已达到 SOTA。结果与证据。
overview.mp4
包含三个房间的照片对照、巡游、多视角和交互演示。末段是与 ArtVIP 资产的运动学对照,画面保留来源标注。
- 用尺寸和型号约束比例。 三场景案例采用确认的 2m 床长及两款候选柜体的商品规格,将衣柜宽度从约 0.96m 校正为 0.794m、鞋柜从约 1.34m 校正为 1.05m,让家具比例和空间摆放有明确依据。
- 把场景拆成可编辑部件。 床架、层板、柜门、抽屉、衣物分别建模,提供 21 个静态资产文件对应的资产清单,便于继续修改布局和设置交互。大型模型不随 Git 仓库分发。
- 检查实际生成的资产。 逐项测量尺寸、网格和参考模型差异,保留结果及复查脚本。当前两款柜子的主体尺寸符合约束,含把手的整体深度仍有偏差,详见定量评估。
- 让修改可以接着做。 工作流保存阶段结果、参数与证据;修改几何后重新检查受影响的结果,减少从头重跑。
视频展示的是三场景 V5 案例;仓库另附一个可复跑的杂物房案例,含 MuJoCo 动力学与 GLB/USD 导出检查。两者的结果分别记录。
从原始照片和重新估计的参数建立一个独立候选,复用通用工作流,未使用旧卧室/V5/ArtVIP 的几何、拟合参数或建模脚本。2026-09-27 对保留候选补做 ArtVIP 参考评估,测量前后模型未改动。
| 当前候选/条件参照 | 平均双向表面差 | F-score @10 mm | F-score @100 mm |
|---|---|---|---|
| 鞋柜/VITBERGET | 25.84 mm | 47.65% | 96.95% |
| 衣柜/BRUKSVARA | 7.47 mm | 80.53% | 99.20% |
验收状态:needs_revision。 Blender/GLB/USD 导出与实际重导入通过;视觉评审要求修改,静态仿真检查因后墙碰撞面偏差 25 mm 未通过。正式 export/validate/report 阶段尚未执行,未生成冻结版本。两款家具型号均未由实物标签确认,上表只衡量与指定参考模型的差异,不能代表整场景实物精度。
这是保留失败结论的新测试案例。仓库提供建模脚本与评估记录,大型模型及完整证据保留远端;复跑依赖该案例的原图、工作流状态与证据。案例与验收记录 · 评估方法与完整数据
在 V5 原模型上重新测量 21 组资产。两款柜体与 ArtVIP 参考模型的表面差异如下,每个方向采样 60,000 点,保留原始尺度。
| 资产 | 平均表面差 | 中位数 | P95 | F-score @10mm | 含把手整体深度较目录偏差 |
|---|---|---|---|---|---|
| VITBERGET 鞋柜 | 12.50 mm | 8.12 mm | 42.98 mm | 59.15% | +55.61 mm(13.90%) |
| BRUKSVARA 衣柜 | 14.40 mm | 5.34 mm | 53.16 mm | 60.13% | +89.98 mm(15.93%) |
床的两根纵向侧梁均为 2,000 mm;鞋柜顶板深度 400.001 mm、衣柜侧板深度 565.000 mm,符合输入尺寸约束。含把手的整装深度仍有上表偏差。
网格检查覆盖 663 个去重几何对象:顶点数值全部有限,586 个拓扑封闭,77 个曲线管件存在开放端口;发现 2,546 个零面积面,主要在货架、床头装饰、椅座和黑柜加强筋,仍需清理。
以上衡量尺寸约束符合度和参考模型差异。F-score 是距离阈值内双向表面覆盖率的调和平均;缺少独立实测的其他资产尚不能给出实物准确率。逐资产数据、测量定义与复查脚本。
核对日期:2026-09-25。选取报告绝对距离阈值的代表性强结果,优先列出单图实验。这是公开结果对照,不是同场景复跑或统一排行榜;输入条件按具体实验标注。
| 方法/对象 | 重建输入 | 评测范围 | F-score @10 mm |
|---|---|---|---|
| 本项目:VITBERGET 鞋柜 | 单张房间图+家具规格/参考辅助 | 单件柜体,相对 ArtVIP | 59.15% |
| 本项目:BRUKSVARA 衣柜 | 单张房间图+家具规格/参考辅助 | 单件柜体,相对 ArtVIP | 60.13% |
| SimFoundry,自动 | 单图 | 12 个 YCB 桌面场景,易/中/难 | 92% / 87% / 81% |
| SimFoundry,人工微调 | 单图+每物体 3 分钟人工调整 | 同上,易/中/难 | 99% / 97% / 93% |
| SAM 3D,SimFoundry 论文复评 | 单图;评测另作全局尺度对齐 | 同上,易/中/难 | 71% / 66% / 68% |
论文数字为分组均值,标准差见原表 L.2。SimFoundry 的这项几何实验使用单图,不是视频输入:附录 L.1.1 明确说明,两种方法只接收最终摆满物体的场景图;逐件摆放时拍摄的图像仅用于建立准真值。SAM 3D 的全局尺度通过匹配准真值点云求取。
| 方法/对象 | 重建输入 | 评测范围 | F-score @100 mm |
|---|---|---|---|
| 本项目:VITBERGET 鞋柜 | 单张房间图+家具规格/参考辅助 | 单件柜体,相对 ArtVIP | 100.00%(重新测量) |
| 本项目:BRUKSVARA 衣柜 | 单张房间图+家具规格/参考辅助 | 单件柜体,相对 ArtVIP | 98.88%(重新测量) |
| SAM 3D,Lucida 论文复评 | 单图生成+共享估计深度定位 | R2S-Scene,选定物体的场景重建 | 79.4% |
| SceneGen,Lucida 论文复评 | 单图+实例掩码;评测作整场景刚性对齐 | 同上 | 35.1% |
| Lucida | 非单图:视频/多视角+估计深度 | 同上 | 92.4% |
2026-09-25 已用原 V5 模型和 ArtVIP 参考重新测量。衣柜在 100 mm 下两个方向分别有 58,667/60,000(97.7783%) 和 60,000/60,000(100%) 的采样点落入阈值,F-score 为 98.8767%;鞋柜为 100%。输入模型哈希、Blender 4.5.3 版本、配准与采样设置不变,原 1/5/10/20/50 mm 统计全部精确复现。现已保存逐点距离,其他阈值可直接复核。测量统计 · 逐点距离 · 复算脚本
比较边界: 本项目测两件独立柜体,保留尺度、对齐底面和包围盒中心,以点到三角面的距离评估,包含内部表面;规格与参考模型参与过制作,并非独立留出测试。论文测多物体场景,包含布局误差,采样和配准也不同。Lucida 复评的 SAM 3D 还使用共享估计深度做米制定位,不能称为纯单 RGB 协议。鞋柜在 100 mm 下的 100% 不代表超过 Lucida,也不是整间房间的分数。
来源:SimFoundry,arXiv:2606.28276v4,附录 L.1.1–L.1.3、表 L.2;Lucida,arXiv:2608.30821v1,第 3.3 节、表 4。未把归一化物体指标或相对物体直径的阈值换算为毫米。
补充记录:卧室单图重建重复实验。
- 克隆仓库,在能够读取文件、执行 Python 和调用 Blender 的 GPT-6 Astra Agent 环境中打开。
- 按任务模板提供照片、用途,以及已知尺寸、型号或商品链接;未知项留空。
- 将主 Prompt交给 Agent,按使用指南完成观察、建模和预览复查。
模型访问由你的 Agent 环境提供。新场景需要观察和定制建模;仓库提供工作流与工具入口。
准备 Python 环境、Blender 4.5.3、MuJoCo 3.13.0、FFmpeg 及离屏渲染条件,按复跑说明安装依赖后运行:
export R2S_PYTHON=/path/to/venv/bin/python
export R2S_BLENDER=/path/to/blender-4.5.3/blender
export R2S_GPU=0
export R2S_CPU=1
export PYTHONPATH="$PWD/workflow"
"$R2S_PYTHON" tools/rebuild_artifacts.py --output "$PWD/replay_runs/my_replay"输出目录需为新目录。冻结配方复跑不需要重新调用语言模型。
