sofagent 站在巨人肩膀上。以下每个项目与作者,都在某个设计决策里留下痕迹。
v1.6.0 · 2026-10-15(GMT+8)· ✅ 已发版 · 孔放勋
收录纪律:一条一行——名字 · 链接 · 启发(≤25 字);全文分析见
archive/validation-deep/thanks-extended.md。
- OpenClaw · Peter Steinberger — 四层加载链 Hook 机制之源
模型间 Loop 实验——多 session 内互改互审直到全通过,随后新 session 重审、下一轮迭代。
- DeepSeek V4 Pro · 深度求索
- GLM-5.2 · 智谱 AI
影响了 sofagent「为什么这么设计」的理论与实践。分析段全文见归档。
- Ralph Loop · Geoffrey Huntley —「Agent 会失忆,文件不会」:git diff 是地面真相
- Andrej Karpathy Skills — 4 条编码原则是 9 则铁律的根基
- Anthropic Skills — 官方 SKILL.md 规范,描述-实现分离参考
- Loop Engineering · Addy Osmani — 正式命名 Context→Harness→Loop 三层框架
- From Loop to Graph Engineering · Carlos E. Perez — 无 Anchor 的 Graph 只是更贵的 Loop
- OpenAI Harness Engineering — Harness 概念的系统化参考
- Anthropic Effective Harnesses · Anthropic — 长时 Agent 的有效治理
- What makes a harness a harness · Sanderson Oliveira de Macedo — agent harness 的构成性定义与包含/排除检验
- Don't Train the Model, Evolve the Harness · Joel Niklaus — 不改权重仅优化 Harness:63.4%→80.1%
- AutoResearch · Andrej Karpathy — 约束文档+锁定评估+自动循环
- Bilevel Autoresearch — 双层循环,外层强制探索 5 倍提升
- MetaRSI / RSI² + RSI-Harness · CosmosMind — RSI 三算子统一形式化
- SoL-Pi — RSI 施于 harness 层的活体样本
- DeepSeek Elastic Compute (DSec) · DeepSeek — 「自我改进卡住的从来不是 GPU,是环境供给」
- Grow the Harness, Not the Context — 控制决策从上下文搬进可复用代码
- Harness-Zero — harness 蒸馏:微调摊销层的外部实证
- HackProbe — RSI 监控器与 harness 无关:监控方在被测系统之外
- RSI Claim-Testing Checklist · Intelligence Research Project — RSI 主张检验清单:改进必须递归
- The Winner's Curse in LLM Self-Improvement Loops — 首代之后多数自改提案有害:选择噪声
- ImproveAnyTask — 后训练 harness 全自动迭代,无人手
- MESH-Harness — 权重不动,bandit 重组 harness 模块
- HarnessSecurity-Bench — 已确证防护约半数为 opt-in:声明≠强制
- HEAR Protocol — harness↔推理引擎双向配对协议(摘要级)
- Calibrated Decision Models for Pentesting — 判定件在安全域的裁定落点
- JEVQA — 判定件跨域零样本替代实证(音视频域)
- Lost in the Middle — 长文档中段注意力衰减,500 字原则源头
- A Global Workspace in Language Models · Anthropic — 「审计必须外置」的底层论证
- Claude 5 上下文工程 · Anthropic — 上下文工程取代提示词工程
- Managed Agents · Anthropic — 四层编排:连接+行动与深度思考分工
- Deep Agents · LangChain — 验证 v1.x 技术选型(已迁 LangGraph)
- DeepSeek Harness (DSH) · DeepSeek — 一切皆插件运行时;cordis-plugin 协议基础
- Cordis + 时空可组合性论文 · cordiverse — 时间+空间可组合性,进化模块运行时视角
- Claude Code Agent Loop · Anthropic — 三阶段循环+三档权限,与 HITL 🟢🟡🔴 同构
- Palantir AIP Ontology · Palantir — 数据+逻辑+动作+安全四合一数字孪生层
- The Path to Recursively Self-Improving Harnesses · 翁荔(Lilian Weng)— 六层 Harness 优化框架
- The Anatomy of an Agent Harness · Akshay Pachaar — Harness 即 LLM 的操作系统,12 核心组件
- Three Key Loops · Andrew Ng — 分钟→小时→天三层嵌套循环
- OpenWorker · Andrew Ng 团队 — 四级权限模型;「Ask for an outcome, not just an answer」
- aisuite · Andrew Ng 团队 —
<provider>:<model>统一接口 - DeerFlow · 字节跳动 — "super agent harness" 命名印证品类
- Omnigent · Databricks 系 — meta-harness:策略强制在基础设施层
- LiteLLM · BerriAI — 开源 LLM gateway
- bubblewrap · containers — OS 级沙箱原语
- LangChain middleware · LangChain — wrapToolCall:运行时审计精确接入点
- EnkryptAI Secure MCP Gateway · EnkryptAI — 安全护栏 + audit_only 模式
- Agent Client Protocol (ACP) — LSP 式开放协议
- DataFlow · 北京大学 DCAI — 独立用「Harness」命名的第三方佐证
- ChatDemo · OpenFDEAI — FDE 术语同源
- PenguinHarness · Yaowei Zheng — Benchmark 与工具审批四模式参考
- prime-agent · Prime Intellect — 跨进程写保护与 RefinementEvent 证据记录
- Control the Harness, Control the Cost — 未调优 harness 默认值 = 成本与治理一并交出去
- Self-Healing Harness — 准入门控:提议在内、门在外、持久化由门决定
- RegenHarness — evidence-gated RSI;改进无权降低门强度
- The Harness as the Only Mutable Surface — 自进化只有收敛在运行时 harness 内才「可复核」(被审对象不消失);含实测的计量准入门(第三方论文、本仓未复算)
- Harness Evolution Hits a Ceiling — 用失败轨迹的首个触发信号把失败拆成进程失败(阻塞调用 / 循环 / 步数耗尽)与内容失败,据此判「继续动 harness 还是开训权重」:harness 侧会到顶,到顶后权重才接棒(第三方论文、本仓未复算)
- E-Ledger: Safe, Persistent, and Evolving Agent Harness — 面向部分可观测的长程任务:每个动作执行前先过策略批准层 + 维护「已验证隐藏规则」的世界账本(第三方论文、本仓未复算)
- DuplexAgent-RSI — 递归改进落在 harness 的协调层(任务受理 / 进度 / 取消 / 替换 / 结果交付),不落在权重(第三方论文、本仓未复算)
- Recurrent Harness for Agentic Continual Learning — ReHarness:harness 状态不再只靠前向信息流演化、也不依赖额外回放或验证数据,而是做成循环结构以在长交互流上持续适应分布漂移 ⇒ 「harness 自更新」多了一种须被审计观察的形态(第三方论文、本仓未复算)
- [AI 研发自动化与智能爆炸](arXiv 2609.36054 · Hinton / Bengio / Barto 等 22 人立场论文 · CASP)— 推演「AI 接管 AI 研发」的爆炸机制(有效研发劳动力 + 参数 r)与四道摩擦;治理首优「独立审计 + 越权监测」与约束层同向(本仓未复算)
决策模型来源。判定层门槛不在模型架构,在判据数据集——判定件深读(对照件池谱系)见归档。
- SalesRLAgent · Nandakishor M — 概率预测当序列决策训练,「只出概率不生成」之源
- Confidence-Aware Routing · Nandakishor M — 统一置信度驱动四路径路由,与 L0/L1/L2+第三态同构
- System Switch — 双件系统:闸门开才把控制权交给慢 VLM
- DeepRAG · Nandakishor M — 从零自建 embedding 模型参考
- System One Models & Jev · TypeSafe AI — RLCD、三原语提出方;「校准优先于偏好」
- laya · Convai Innovations — 非自回归判定件参照+对照基线;@2026-10-10 PyPI 面 0.4.2
- kev · Jared Palmer — Jev 架构型开源复刻(0.8B/4B/9B 全尺寸)
- Bespoke Nimble · Bespoke Labs — 2,676 条对比式样本构造法(「数据质量 > 参数量」)
- Jev 接口复刻族(SemIf / NanoJev / Jevlike / LocalJev / JEV-mini)— 对照件候选与路线对照
- decider · Mapika — 校准工程最深的复现家族(ECE 0.288→0.071);@2026-10-08 PyPI 面 decider-ai 1.9.0
- CLM · Contrastive-LM — 双塔对比式路线对照(公开 scaling-law 拟合)
- JevK5 · allebee — 独立开源替代;蒸馏 LoRA 合并权重同批开源
- OpenThai-SystemOne · iApp — 泰/英双语 0.8B,契约兼容成本品类默认
- AutoJev-27B · denis-pplx —「自主 agent 全程建成」活体样本;披露 ECE 三列
- RSI-Jev · Shanghua Gao — RSI 循环直接造判定件;v4.0-VL 读图(自报)
- AgentJev · malevrigns —「去 LM head」形态正例(置换等变判定头)
- Intern-Decision(权重集合页
internlm/intern-decision)· 上海 AI Lab(InternLM)— 多模态判定件:冻结视觉塔与投影层、只微调语言主干,0.8B/2B/4B,Apache-2.0;保留 next-token head ⇒ 路线参考(非「encoder + 判定头」同构;准入鉴别见 v1.9.0 §五);读数全系厂商自报、本仓未复算 - FRIDA-Decisions · SberAI — 一次编码打包全问,序构造性无关(转述)
- Permutation-Robust Decision Modeling — 候选分数不该依赖序列化顺序(架构级)
- AnyJev · Nokia — 读出校准免训练两件套:先验除法+旋转平均(自报)
- TensorFlow.js + tfjs-models · Google — 一套 API 四后端+模型即 npm 包的十年先例
- Verdict / rlcd-modernbert-151m · Heman10x-NGU —「编码器+判定头」最早可复算建仓时点(2026-09-17)
- jevbench · fstandhartinger — 判定件独立第三方榜;@2026-10-13 数据端点面 v1.6.1(协议仍
jevbench::v1.6·n_ranked92→135 ·roster_count173 ·source_sha256换值;v1.6.0 端点仍在但冻结返旧值),release 面仍 v1.4.2 ⇒ 六面不同步(读数据端点,不采渲染页) - AgentGovBench + ST-WebAgentBench — 治理对照基准两件套(CuP 双轴指标);其「Harness honesty」修订公开固化:制造证据不计分、空审计日志不算通过、报错场景留在分母
- NIST 官方标准面(CAISSI 三支柱 + RFI + NCCoE 四功能域 + AI 800 系列)— agent = 非人类身份 principal;双身份令牌
- Jev-Mem — System One 控制面管 agentic memory
- jev-harness-lab · Aitejiu — 判定件 harness 内可用面黑箱评测
- Fast Models, Slow Evidence — paired 自审评测:自报与独立实测分列
- JevAdvBench — 判定件对抗基准(被攻击决策对干净决策打分)
- LAVOIR — 判定件「该问什么」扩展(VOI 槽位;已开源)
- JEVal — 双语 36 数据集判定件基准:证据可解最强(自报)
- 候选覆盖与拒答迁移 — 源域校准保不住目标操作点:跨域须重校
- 严格适当评分规则 · Gneiting & Raftery 等 — RLCD 数学正确性依据:诚实报告校准概率才取最大期望奖励
- Sys1Cal-v1 — 判定件概率数值含义专用数据集(全变差距离评分)
- PACT — 单 token 判定的校准感知训练:四项免新标注训练项
- SanSi — 层内循环后仍单次 readout:非自回归算力分配
- Readout Stability — 菜单换而文本不变,缓存首过分布已定后验(自报)
- Your-LM-Is-Already-a-Decision-Model · ntlm1686 — 训练必要性对照:未微调 9B 与 Jev 互有胜负(自测)
- One Word Opens the Gate — 护栏件的输入侧攻击面:类型化判定件被放进 agent 当闸门后,「选项通道」上一个词即可开门 ⇒ 闸门件自身也是攻击面,不只是判据面(第三方论文、本仓未复算)
- TypedBench — 非生成式接口的「校准 / 框架敏感性 / 成本」三维独立基准(第三方基准、本仓未复算)
- Can Jev be Your Q or Policy in RL? — 判定件不生成文本、直接返回校准的类型化概率 ⇒ 试作 RL 的 Q / policy:非自回归路线在强化学习侧的能力边界(第三方论文、本仓未复算)
- FastJEV — 候选评估侧冗余也是紧凑判定件的独立优化面(第三方论文、本仓未复算)。
- Specialized Decision Models vs. General-Purpose LLMs — 13 个多选题基准 × 19 个 LLM:专项判定件在知识与常识面可比前沿 LLM(第三方基准、本仓未复算)。
- Adversarial Cues in Decision Models Used as Judges — 判定件当裁判时,一个冒号即可把误接受率从 1.0% 抬到 26.0% ⇒ 「输在呈现形态、不在候选内容」(第三方论文、本仓未复算)。
- Can Decision Models Understand Stance? — 立场检测对照:英文 VAST 面与前沿 LLM 相当,中文对话 ZS-CSD 面落后于微调模型 ⇒ 判定件能力边界非全域占优(第三方论文、本仓未复算)
- Drex · Nace.AI — 开源判定件族:v1.5 9B / DLM 8B 扩散 LM,均带独立 pointer head、复用 Kev 代码;代码 Apache-2.0、权重非通行开源(Open RAIL-M / CC BY-NC 4.0,商用须另授权);自报 Decision Index 0.3.1 公开面 58.08(厂商自测、本仓未复算)。
- Sieve · sthanika-ai — 判定件族 0.8B–31B、全 Apache-2.0:读出=末层隐状态 × 选项标签行 + 定温 softmax、不生成文本,与「编码器 + 判定头」同路线;0.8B 与本仓 0.5B 同量级。自报 Decision Index 0.3 公开面:4B 50.06 / 9B-v2 53.35 / 27B 60.04 / 31B 62.52(厂商自测、未上榜单)。
- Can Language Models Learn When to Abstain? — 弃权能力的两条实现路对照:训练模型自身 vs 另训一个答案检查组件;以「答对加分 / 答错扣分 / 允许弃权」的评分在 Qwen3-14B 上跨三训练种子与两个留出置信阈值比较 ⇒ 弃权该内建还是外挂,有可复算的实验口径(第三方论文、本仓未复算)
- Open Jev · intikhab49 — 150M 编码器 + 单次前向 + 类型化问题(
noul/choice/score);400 例自测 ensemble 0.6965 / ECE 0.0565 对 Jev 0.7270 / 0.1440 ⇒ 校准优于 Jev 2.5×(Jev 零样本、本件同分布 1,016 例训练),T4 半小时可训;Apache-2.0,与「编码器+判定头」同路线(厂商自测、本仓未复算) - LLM2Jev · Yinsongxu — prefill-only 读出(不逐 token 解码)把任意本地 LLM 变结构化判定件 ⇒ 非自回归路线的外部同款;Apache-2.0(自报)
- vLLM-Jev · mode-io — 判定件的原生 vLLM 服务化(部署面参照);Apache-2.0
- A Field Guide to Fable · Thariq Shihipar — 四类未知框架;瓶颈从「能不能做」变「你能不能说清楚」
- When AI builds itself · Anthropic — 代码生成不再是瓶颈,人工审查成新堵点
- SkillOpt · 微软 — Skill 自进化参考(现由自研 gate 验证器替代)
- Satya Nadella at Microsoft Build · Satya Nadella —「Every company will have its own private eval」
- Verification and Self-Improvement in Agentic AI — 一个性能分数分不清「搜得更久 / 得到更多支持 / 改了怎么提议与验证」三种改进机制;用有界验证把它拆开(第三方论文、本仓未复算)
- ReSI: Recursive Safety Improvement — 递归自改进从理论走向实践后,安全对齐须随频繁更新持续保持(第三方论文、本仓未复算)
- Who Verifies the Verifier? — 自改进循环里每一次「它是不是真的变好了」都由验证器回答 ⇒ 验证器自身必须可检查,且与 agent 共同演化(第三方论文、本仓未复算)
- What Output-Only Review Cannot Verify — 「产出物面可判的缺陷」与「须知执行前批准了什么才可判的缺陷」须显式分开(第三方论文、本仓未复算)。
- From Reactive Containment to Proactive Assurance — 2026 年三类 agent 越权事件复盘 ⇒「先围堵、后保证」的教训(第三方转述、本仓未复算)。
- Accurate but Not Humble — 知识冲突下 agent 的「认识论谦逊」评估:以轨迹级三维度 Identify / Solve / Escalate 度量其承认并上报不确定性的意愿(第三方论文、本仓未复算)
- AI Models Can Provably Hide Arbitrary Capabilities — 构造性反例:把加密神经网络嵌入宿主权重、仅在收到秘密触发词时解密执行 ⇒ 「隐藏能力可被引出」这一能力评测的前提在对抗条件下不成立;评测可靠性本身需要威胁模型(第三方论文、本仓未复算)
- AI Decision System · Bicheng Wang — AI 辅助 go/no-go 决策的可重放、离线可验记录 + policy-gated 审批 + A/B ship gate 与 release gate ⇒ 与「审计留痕 + 审批分级」治理面同族;MIT(自报)
- Decision OS LoopKit · shin4141 — 把完成记录转成治理化次循环决策(GO / HOLD / CAP / BLOCK)⇒ RSI 停环与晋级判定的外部同形;MIT(自报)
- Decision Intelligence Runtime · huka81 — 神经符号运行时:概率 LLM 推理与确定性内核执行零信任特权分离 + 实时不变量防漂移 + 决策遥测 ⇒ 约束层与审计层同族;Apache-2.0(自报)
sofagent 直接使用或借鉴了它们的能力。
- TencentDB Agent Memory · Tencent Cloud — 4 层分层记忆(弱依赖只读集成)
- Microsoft GraphRAG — knowledge/ 四层结构 = 轻量 GraphRAG
- Open Knowledge Format · Google — Markdown+YAML+Git 知识格式
- Don't Do RAG · WWW '25 — CAG 验证「干净 Markdown 就够了」
- agency-orchestrator —
ao compose一行编排 - agency-agents-zh — 215 个中文岗位模板
- MiroFish — 工具调用与答案分离,启发证据分层
- superpowers — Skill 作为 Harness 杠杆
- best-of-agent-harnesses — 101+ Harness 项目索引
- agent-skills · Addy Osmani — 反合理化表设计
- gstack · Garry Tan — 六层安全栈+原子写入+角色分解
- Multica —「自己不调 LLM 全推子进程」
- GBrain · Gary Tan — LLM Wiki 工业级落地,与 knowledge/ 同构
- skills · Matt Pocock — 深模块受控词汇表与设计熵勘测
我叫孔放勋,一个只懂点前端代码的产品经理。2026 年初开始用 OpenClaw,攒了些笔记,整理成了这份 Handbook。为什么叫 sofagent?sofa + agent,合起来「沙发特工」——希望有一天能躺在沙发上,Agent 就把活干完了。这个项目里的文件是模型间 Loop 实验的产物(见上方生成伙伴),分享出来期待你也参与进来一起优化。
