Skip to content

About

Community GPT-6 Astra workflow for editable Real2Sim scenes, furniture-specification guidance, and Blender/MuJoCo validation.

Topics

Resources

Stars

17 stars

Watchers

0 watching

Forks

Latest commit

 

History

46 Commits

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

GPT-6 Astra Real2sim workflow

单图驱动的可编辑 Real2Sim:联网检索 · 铰链交互 · 布料与柔体

简体中文 | English

2026-10-03:相机标定、真实场景对照与几何/纹理修复。 逐帧 K/位姿贯穿预处理、建模、渲染与结构检查。 ETH3D 收货区保留原生流程与 AWSM 协议移植的独立对照;后续修复原生候选的外壳、部件变换与源照片纹理。 修复版复用的测试集已经暴露,按诊断结果报告;失败候选、局部回归和原生验收边界均保留。 相机接口 · 原始独立对照 · 几何/纹理修复、预览与验证。

从一张 RGB 照片出发,构建可编辑的三维部件与场景。GPT-6 Astra 负责观察、建模决策和预览复查,Blender 与 Python 完成场景构建;联网检索为尺寸、型号和材料提供可追溯的候选依据,按需启用关节和柔体仿真。

能力 我们的特点 使用与证据
单图重建 无需先采集视频或多视角;输出可编辑部件,支持相机、布局和局部几何修订。绝对尺度需要尺寸依据或明确的先验。 Desk1 可编辑场景
联网检索 检索候选商品规格与材料信息,保存来源快照、单位和冲突;记录先验是否真正用于建模。 原生检索链路
铰链交互 门板与框架分离,显式定义转轴、关节限位和接触,可在仿真中检查运动。 动力学案例与测量
布料与体积柔体 分别支持表面弯曲/拉伸和体积压缩,保留位移、接触与稳定性检查。 配置和适用范围

铰链、布料和体积柔体默认关闭、可独立启用,已有附带仿真案例;单张照片不能确定真实弹性参数。以下 Desk1 对照评测静态外观,未评测这些动力学能力。

最新对照:同一张 Desk1 原图

Desk1 原图、原生重建与 Pi3X / MoGe-3 静态适配的实际渲染

在本轮静态适配条件下,我们的联网先验方案 C 比两条参考适配路线有更低的源图误差。 同一张图、同四个前景区域,RGB MAE 范围 0–255,越低越好:

实际运行条件 前景 RGB MAE ↓ 全图 RGB MAE ↓
本项目 C:单图+联网软尺寸先验 14.48 15.37
AHa-inspired:Pi3X 单图静态适配+RGB 背景修正 15.68 16.28
Real2Gym-inspired:MoGe-3 静态适配+RGB 背景修正 17.75 22.51

**比较范围:**两条参考路线共享我们编写的实例适配器,未运行作者完整框架或独立 Astra 迭代,监督与优化预算也未匹配。数字只衡量源图贴合,不代表三维真值精度、完整项目排名或“单图 SOTA”。历史候选 A 的图像误差更低,但仍有 21.3° 最大直角偏差;全部版本和失败记录均保留。完整对照与原始数值 · 联网先验 A/B/C 实验

生成技能、统一生成流、独立场景与研究分支已整合,支持原生 quality_v2 流程。本次首页与分支整合记录 · 快速开始

历史进展与验证记录

**2026-09-30 正式分支整合版:**研究与生成流已统一,最终 14/14 组回归通过。原生 Blender 为权威场景,GLB/USD 外观差异仍明确保留;结果不一致的法线删除实验未作为默认修复。此版本不宣称 SOTA。发布与验证记录。

生成流技能接入: quality_v2 可直接执行 RoomKit 部件建模、Pi3X 参考状态/输出消费,以及渲染后的局部差异反馈。三个技能随仓库分发,反馈进入原有审查与修订回路;Pi3X 未就绪时保留阻塞状态,不自动恢复安装。接入与使用。

**并行实测更新:**已执行固定两轮反馈 A/B、五组组合对照和新的 DROID 接触仿真。组合候选改善了柜体粗轮廓与风口区域误差,床品误差未改善;尚未达到整场景视觉验收或 SOTA。完整结果与失败记录。

**2026-09-29 能力研究进展:**新增结构碰撞修复、固定相机几何反馈、有来源的材料/接触先验与任务轨迹验收。铰链、布料和体积柔体保持可选,默认关闭。同一保留场景的碰撞对照由失败变为通过,14 项回归通过;不改变历史视觉验收结论,也不代表已达到 SOTA。结果与证据。

预览

overview.mp4

包含三个房间的照片对照、巡游、多视角和交互演示。末段是与 ArtVIP 资产的运动学对照,画面保留来源标注。

我们做了什么

  • 用尺寸和型号约束比例。 三场景案例采用确认的 2m 床长及两款候选柜体的商品规格,将衣柜宽度从约 0.96m 校正为 0.794m、鞋柜从约 1.34m 校正为 1.05m,让家具比例和空间摆放有明确依据。
  • 把场景拆成可编辑部件。 床架、层板、柜门、抽屉、衣物分别建模,提供 21 个静态资产文件对应的资产清单,便于继续修改布局和设置交互。大型模型不随 Git 仓库分发。
  • 检查实际生成的资产。 逐项测量尺寸、网格和参考模型差异,保留结果及复查脚本。当前两款柜子的主体尺寸符合约束,含把手的整体深度仍有偏差,详见定量评估。
  • 让修改可以接着做。 工作流保存阶段结果、参数与证据;修改几何后重新检查受影响的结果,减少从头重跑。

视频展示的是三场景 V5 案例;仓库另附一个可复跑的杂物房案例,含 MuJoCo 动力学与 GLB/USD 导出检查。两者的结果分别记录。

新测试:独立整场景重建(2026-09-26)

从原始照片和重新估计的参数建立一个独立候选,复用通用工作流,未使用旧卧室/V5/ArtVIP 的几何、拟合参数或建模脚本。2026-09-27 对保留候选补做 ArtVIP 参考评估,测量前后模型未改动。

当前候选/条件参照 平均双向表面差 F-score @10 mm F-score @100 mm
鞋柜/VITBERGET 25.84 mm 47.65% 96.95%
衣柜/BRUKSVARA 7.47 mm 80.53% 99.20%

验收状态:needs_revision。 Blender/GLB/USD 导出与实际重导入通过;视觉评审要求修改,静态仿真检查因后墙碰撞面偏差 25 mm 未通过。正式 export/validate/report 阶段尚未执行,未生成冻结版本。两款家具型号均未由实物标签确认,上表只衡量与指定参考模型的差异,不能代表整场景实物精度。

这是保留失败结论的新测试案例。仓库提供建模脚本与评估记录,大型模型及完整证据保留远端;复跑依赖该案例的原图、工作流状态与证据。案例与验收记录 · 评估方法与完整数据

定量评估(原 V5 案例)

在 V5 原模型上重新测量 21 组资产。两款柜体与 ArtVIP 参考模型的表面差异如下,每个方向采样 60,000 点,保留原始尺度。

资产 平均表面差 中位数 P95 F-score @10mm 含把手整体深度较目录偏差
VITBERGET 鞋柜 12.50 mm 8.12 mm 42.98 mm 59.15% +55.61 mm(13.90%)
BRUKSVARA 衣柜 14.40 mm 5.34 mm 53.16 mm 60.13% +89.98 mm(15.93%)

床的两根纵向侧梁均为 2,000 mm;鞋柜顶板深度 400.001 mm、衣柜侧板深度 565.000 mm,符合输入尺寸约束。含把手的整装深度仍有上表偏差。

网格检查覆盖 663 个去重几何对象:顶点数值全部有限,586 个拓扑封闭,77 个曲线管件存在开放端口;发现 2,546 个零面积面,主要在货架、床头装饰、椅座和黑柜加强筋,仍需清理。

以上衡量尺寸约束符合度和参考模型差异。F-score 是距离阈值内双向表面覆盖率的调和平均;缺少独立实测的其他资产尚不能给出实物准确率。逐资产数据、测量定义与复查脚本。

与领先论文对比:10 mm / 100 mm

核对日期:2026-09-25。选取报告绝对距离阈值的代表性强结果,优先列出单图实验。这是公开结果对照,不是同场景复跑或统一排行榜;输入条件按具体实验标注。

10 mm(1 cm):F-score ↑

方法/对象 重建输入 评测范围 F-score @10 mm
本项目:VITBERGET 鞋柜 单张房间图+家具规格/参考辅助 单件柜体,相对 ArtVIP 59.15%
本项目:BRUKSVARA 衣柜 单张房间图+家具规格/参考辅助 单件柜体,相对 ArtVIP 60.13%
SimFoundry,自动 单图 12 个 YCB 桌面场景,易/中/难 92% / 87% / 81%
SimFoundry,人工微调 单图+每物体 3 分钟人工调整 同上,易/中/难 99% / 97% / 93%
SAM 3D,SimFoundry 论文复评 单图;评测另作全局尺度对齐 同上,易/中/难 71% / 66% / 68%

论文数字为分组均值,标准差见原表 L.2。SimFoundry 的这项几何实验使用单图,不是视频输入:附录 L.1.1 明确说明,两种方法只接收最终摆满物体的场景图;逐件摆放时拍摄的图像仅用于建立准真值。SAM 3D 的全局尺度通过匹配准真值点云求取。

100 mm(10 cm):F-score ↑

方法/对象 重建输入 评测范围 F-score @100 mm
本项目:VITBERGET 鞋柜 单张房间图+家具规格/参考辅助 单件柜体,相对 ArtVIP 100.00%(重新测量)
本项目:BRUKSVARA 衣柜 单张房间图+家具规格/参考辅助 单件柜体,相对 ArtVIP 98.88%(重新测量)
SAM 3D,Lucida 论文复评 单图生成+共享估计深度定位 R2S-Scene,选定物体的场景重建 79.4%
SceneGen,Lucida 论文复评 单图+实例掩码;评测作整场景刚性对齐 同上 35.1%
Lucida 非单图:视频/多视角+估计深度 同上 92.4%

2026-09-25 已用原 V5 模型和 ArtVIP 参考重新测量。衣柜在 100 mm 下两个方向分别有 58,667/60,000(97.7783%) 和 60,000/60,000(100%) 的采样点落入阈值,F-score 为 98.8767%;鞋柜为 100%。输入模型哈希、Blender 4.5.3 版本、配准与采样设置不变,原 1/5/10/20/50 mm 统计全部精确复现。现已保存逐点距离,其他阈值可直接复核。测量统计 · 逐点距离 · 复算脚本

比较边界: 本项目测两件独立柜体,保留尺度、对齐底面和包围盒中心,以点到三角面的距离评估,包含内部表面;规格与参考模型参与过制作,并非独立留出测试。论文测多物体场景,包含布局误差,采样和配准也不同。Lucida 复评的 SAM 3D 还使用共享估计深度做米制定位,不能称为纯单 RGB 协议。鞋柜在 100 mm 下的 100% 不代表超过 Lucida,也不是整间房间的分数。

来源:SimFoundry,arXiv:2606.28276v4,附录 L.1.1–L.1.3、表 L.2;Lucida,arXiv:2608.30821v1,第 3.3 节、表 4。未把归一化物体指标或相对物体直径的阈值换算为毫米。

补充记录:卧室单图重建重复实验。

开始使用

用自己的照片

  1. 克隆仓库,在能够读取文件、执行 Python 和调用 Blender 的 GPT-6 Astra Agent 环境中打开。
  2. 按任务模板提供照片、用途,以及已知尺寸、型号或商品链接;未知项留空。
  3. 将主 Prompt交给 Agent,按使用指南完成观察、建模和预览复查。

模型访问由你的 Agent 环境提供。新场景需要观察和定制建模;仓库提供工作流与工具入口。

复跑附带案例

准备 Python 环境、Blender 4.5.3、MuJoCo 3.13.0、FFmpeg 及离屏渲染条件,按复跑说明安装依赖后运行:

export R2S_PYTHON=/path/to/venv/bin/python
export R2S_BLENDER=/path/to/blender-4.5.3/blender
export R2S_GPU=0
export R2S_CPU=1
export PYTHONPATH="$PWD/workflow"
"$R2S_PYTHON" tools/rebuild_artifacts.py --output "$PWD/replay_runs/my_replay"

输出目录需为新目录。冻结配方复跑不需要重新调用语言模型。

尺寸与型号说明 · 复跑案例结果 · 能力与限制 · 工具接入

由 Roboparty 维护,非 OpenAI 官方项目。代码采用 MIT;照片、视频和第三方素材适用媒体与来源说明。

About

Community GPT-6 Astra workflow for editable Real2Sim scenes, furniture-specification guidance, and Blender/MuJoCo validation.

Topics

Resources

Stars

17 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages