AI 参与研究以后,执行成本迅速下降,但也带来一个明显问题:大家都会很快抵达公开知识里的“平均方案”。如果研究流程仍然从“我有一个 idea,然后让 AI 帮我实现”开始,就很容易重复造轮子。
Pagurus 的项目方向需要从“通用 AI agent”收紧为:
构建面向机器人算法研究的个人/团队知识图谱,并在这个知识底座上发展机器人视觉专家。
第一阶段不是先做一个看起来聪明的 AI 专家,而是先跑通知识图谱路线,让 AI 能基于已有论文、baseline、失败案例、实验记录和研究假设工作。
Pagurus 要解决的核心问题是:
如何让研究者和 AI 一起站在前人工作的肩膀上,而不是反复回到已经走烂的直觉路径。
因此,项目不以“生成新算法”为第一目标,而以“建立研究判断力”为第一目标。
具体来说,系统需要帮助我们回答:
- 这个 idea 是否已经有人做过?
- 它最接近哪些 prior art?
- 它站在哪些强 baseline 之上?
- 它解决的是哪个真实 failure mode?
- 最小证伪实验是什么?
- 如果实验成功,能形成什么清晰 claim?
- 如果实验失败,应该如何更新假设?
这是当前优先路线。
知识图谱不是简单的笔记库,而是研究认知底座。它需要组织以下对象:
Paper:论文、技术报告、开源系统、benchmark。Problem:视觉定位、VIO、SLAM、重定位、动态场景建图、视觉世界模型。Method:特征法、直接法、优化法、滤波法、深度 SLAM、语义辅助定位等。Assumption:静态环境、准确标定、时间同步、纹理充分、地图不过期。FailureMode:弱纹理、动态遮挡、重复结构、运动模糊、地图过期、尺度漂移、跟踪丢失。Baseline:必须比较的传统方法、学习方法和开源系统。Dataset:公开数据集、自采数据、退化场景集合。Metric:ATE、RPE、failure rate、relocalization time、latency、闭环成功率。Experiment:baseline 实验、消融实验、压力测试、真实机器人闭环测试。Claim:一个方法真正证明了什么,以及在什么条件下成立。
第一阶段的核心产出不是炫酷界面,而是让 AI 可以带着上下文回答研究问题。
AI 专家应该建立在知识图谱之上。
如果没有知识图谱,AI 专家很容易变成通用问答助手;如果有知识图谱,它可以逐渐形成更稳定的角色:
- 文献侦察员:查找 prior art、相似方法和技术谱系。
- 反方审稿人:攻击 claim,指出 baseline 缺失和实验漏洞。
- 实验设计师:提出最小证伪实验、消融设计和压力测试。
- 失败诊断员:根据日志和案例定位失败机制。
- 机器人视觉专家:围绕视觉定位、建图、世界模型和闭环任务给出研究判断。
机器人视觉专家不是“看图问答助手”,也不是泛泛的计算机视觉助手。
它的定义应该是:
面向机器人算法研究的视觉专家,帮助研究者理解视觉信息如何服务于定位、建图、世界模型、导航和闭环决策。
它关注的不是单帧识别结果,而是:
- 视觉如何提供可靠状态估计?
- 视觉地图如何支撑定位和规划?
- 视觉表示是否对下游控制有用?
- 当前视觉系统什么时候不可靠?
- 一个视觉算法是否真的提升机器人闭环能力?
几何视觉是机器人视觉的地基,回答“机器人在哪里、怎么动、环境结构是什么”。
核心主题:
- 相机模型与坐标系。
- 多视图几何。
- 特征匹配与光流。
- 深度估计与三维重建。
- Visual Odometry。
- Visual-Inertial Odometry。
- Visual SLAM。
- 重定位与回环检测。
- 相机、IMU、LiDAR 的标定与融合。
这一层的专家能力包括:
- 判断一个定位/建图 idea 属于哪个方法族。
- 指出它依赖哪些几何假设。
- 推荐必须比较的 baseline。
- 识别可能的退化场景。
语义层回答“世界里哪些东西有意义、哪些东西稳定、哪些东西会动”。
核心主题:
- 语义分割。
- 动态物体识别。
- 可通行区域理解。
- 物体级地图。
- 语义地图。
- 开放词汇感知。
- 场景图与任务相关物体。
这一层的关键问题是:语义不是为了让系统“看懂图像”,而是为了提升定位、建图、导航和交互的可靠性。
例如:
- 动态物体是否应该从定位匹配中剔除?
- 哪些语义区域更适合作为长期地图锚点?
- 地图过期时,语义是否能帮助判断局部地图可信度?
- 开放词汇感知是否真的改善任务成功率?
机器人视觉不是单帧理解,而是连续时空理解。
核心主题:
- 时序视觉表示。
- 未来观测预测。
- Occupancy flow。
- 动态场景建模。
- Action-conditioned prediction。
- Latent world model。
- 视觉表示对 planning 的可用性。
这一层回答:
- 世界接下来会怎样?
- 我的动作会改变什么?
- 预测结果是否能被 planner 使用?
- 预测 loss 下降是否真的带来闭环收益?
世界模型方向必须避免只追求图像预测质量。对机器人来说,更重要的是状态、可通行性、碰撞风险、不确定性和行动后果。
这是机器人视觉专家最应该形成区分度的部分。
核心主题:
- Tracking failure。
- Localization uncertainty。
- Out-of-distribution detection。
- Motion blur。
- 弱纹理与重复结构。
- 光照突变。
- 动态遮挡。
- 标定误差。
- 时间同步误差。
- 传感器退化。
这一层回答:
- 当前视觉估计可靠吗?
- 如果不可靠,原因是什么?
- 系统应该降级、重定位、切换传感器,还是请求重新建图?
- 哪些 failure mode 是当前方法真正解决的?
为了避免范围过大,第一版建议聚焦:
视觉定位与建图专家。
它先专注三类问题:
- 这个定位/建图 idea 是否已经有人做过?
- 它应该和哪些强 baseline 比?
- 最小实验怎样证明它真的解决了一个 failure mode?
第一版不追求覆盖全部机器人视觉,而是先在视觉定位、VIO、SLAM、重定位和动态场景定位上形成高质量判断。
每个新 idea 进入系统时,先不直接实现,而是进入研究审查流程。
每个想法先写成一张卡片:
- 问题是什么?
- 真实场景在哪里?
- 已有方法为什么失败?
- 我们的核心假设是什么?
- 这个假设最像哪些 prior art?
- 成功后能形成什么 claim?
- 最小证伪实验是什么?
对相似工作建立对照表:
- 方法名称。
- 核心机制。
- 关键假设。
- 使用传感器。
- 地图形式。
- 评测数据。
- 指标。
- 失败场景。
- 与当前 idea 的关系。
目标不是收集论文,而是判断这个 idea 是否真的有新问题、新机制或新证据。
进入实现前,必须回答:
- 最强传统 baseline 是谁?
- 最强学习型 baseline 是谁?
- 是否有开源实现?
- 我们能否复现主要结果?
- 如果不能复现,原因是什么?
没有 baseline 的创新,大概率不可靠。
系统需要长期积累失败案例:
- 原始传感器日志。
- 失败轨迹。
- 对应场景描述。
- 触发条件。
- 现象。
- 可能原因。
- 复现实验。
- 相关论文和方法。
对机器人研究来说,失败案例库是最重要的差异化资产之一。
每个方向都要设计最小证伪实验:
- 如果假设是错的,什么实验能最快暴露?
- 如果方法有效,它应该首先在哪个 failure mode 上有效?
- 如果只在平均指标上提升,但 failure mode 不改善,是否仍然有研究价值?
第一阶段可以先实现一个很小但可用的系统。
当前知识结构入口见 knowledge/index.md。
- 论文笔记。
- README 和项目文档。
- 实验日志。
- 机器人失败案例。
- baseline 运行记录。
- idea card。
先不急着做复杂图数据库,可以从结构化 Markdown / YAML / JSON 开始。
建议最小结构:
knowledge/papers/knowledge/problems/knowledge/methods/knowledge/failure_modes/knowledge/baselines/knowledge/experiments/knowledge/claims/knowledge/idea_cards/
第一版 AI 只需要完成几个高价值任务:
- 对一个 idea 做 prior art 审查。
- 推荐 baseline。
- 生成最小证伪实验。
- 把论文笔记转成结构化节点。
- 把失败日志归类到 failure mode。
- 帮助形成清晰 claim。
Pagurus 的第一阶段是否成功,不看它是否像一个完整产品,而看它是否让研究流程变得更清醒。
成功标准:
- 新 idea 不再直接进入实现,而是先经过 prior art 和 baseline 审查。
- AI 回答问题时能引用已有知识节点,而不是自由发挥。
- 团队逐渐积累自己的 failure case library。
- 每个实验都能回到一个明确假设。
- 每个方向最后能形成清晰 claim 或被快速证伪。
Pagurus 当前应该先跑通第一条路:
个人/团队知识图谱 -> 研究审查流程 -> 视觉定位专家原型。
机器人视觉专家不是终点,而是知识图谱路线跑通之后自然生长出来的能力。
第一版最合理的聚焦点是:
面向机器人视觉定位与建图研究的 AI 专家。
它的核心价值不是替我们想一个“新算法”,而是帮助我们判断一个算法是否值得做、站在谁的肩膀上、应该如何被证伪,以及它最终能否在真实机器人闭环里成立。
这些不是完整文献综述,只是第一阶段建立知识图谱时可以优先纳入的方向锚点:
- VINS-Mono:视觉惯性里程计中的经典优化式基线。
- ORB-SLAM3:视觉、视觉惯性、多地图 SLAM 的重要开源系统。
- DROID-SLAM:学习式视觉 SLAM 的代表性路线。
- A Comprehensive Survey of Visual SLAM Algorithms:用于建立方法族、指标、数据集和发展脉络。