Skip to content

memory-effectiveness-evaluation.md

Latest commit

 

History

History
1534 lines (1294 loc) · 95.6 KB

memory-effectiveness-evaluation.md

File metadata and controls

1534 lines (1294 loc) · 95.6 KB
Raw

Verified Research Memory 有效性验收协议

Status: Proposed acceptance contract

Scope: 定义 Verified Research Memory 的离线质量、实际利用、因果收益、鲁棒性、 安全性和效率验收；规定什么证据允许什么强度的 claim

Owner: AI-Researcher maintainers

Last updated: 2026-07-31

Governing design: Verified Research Memory

Implementation plan: Verified Research Memory 实施计划

Related contracts: Experience-Driven Research Loop、 Durable Research Runtime、 Experience Gain next-round plan 和 V2 one-layer VQ historical protocol

本文中的 MUST / MUST NOT / SHOULD / MAY 是规范性要求。本协议只拥有 memory-specific gate；Evaluation Contract 的科学语义、Durable Runtime 的 restart/completion/cost gate 和具体任务的 sensitivity protocol 仍由各自文档拥有。

1. 验收结论

记忆系统“有效”必须同时成立三件事：

  1. 记得对：Writer 只把有完整来源、可比较且独立验证的证据变成受治理知识；
  2. 在正确时刻取对：Retriever 在一个明确 Decision Point 内召回适用、有界、 可引用的 Evidence Cards，并在没有充分证据时 abstain；
  3. 改变了正确的事情并改善结果：Actor 明确采用的 card 映射到合法动作和实际 执行配置，最终在冻结预算、配对、ITT 的预注册 evaluation pairs 上、按事先声明的 transfer scope 提高独立验证结果；只有 held-out scope 才能称“未见任务”。

因此，以下任何单独结果都不构成“记忆有效”：

  • ledger 记录数、向量索引大小或上下文长度增长；
  • Recall@K、相似度或缓存命中率提高；
  • LLM judge 认为 lesson 看起来合理；
  • actor 在文本中引用了 Knowledge ID；
  • smoke test 证明 recall 字段进入 prompt；
  • 公开长对话 benchmark 提高但真实科研结果不提高；
  • 删除 invalid、timeout、no-op 或 failed pair 后得到正均值。

Release review 只使用三个顶层 KPI：

KPI 定义 角色
Experience Gain 固定资源下 Treatment 与预注册 Control 的 paired ITT verified outcome delta 最终结果
End-to-End Applicable Utilization gold eligible decisions 中，适用知识被召回、明确采用并真实执行的比例 主要中介机制
Memory-adjusted Research Efficiency 固定质量下 calls/tokens/wall，或固定预算下每个 valid improvement 的成本 效率与可持续性

安全、隔离、negative transfer、invalid Intervention 和成本上限是 guardrails，不能被 KPI 的正平均值抵消。

2. Claim ladder

系统 MUST 根据通过的证据等级使用不同语言：

Level 必须通过 允许的 claim 禁止的 claim
L0 Mechanism schema/store contract、MEM-TR-001 “记忆链路可持久化、可追踪” 质量或收益
L1 Offline quality Snapshot、Writer、Retrieval、synthetic Utilization、MEM-RB-001..003 offline robustness gates “离线 gold set 上能正确写入/召回/约束动作” 真实科研收益
L2 Pilot evidence L1、sensitivity、manipulation Pilot、power analysis “Pilot 显示机制工作并给出正式样本量” 确认性增益
L3 Domain-specific gain L2、冻结快照、一个 task family 的正式 paired ITT gate、causal MEM-RB-004 仅按下述 claim_kind/baseline 声明 <family>/<contract> 内的增益 通用 AI Researcher 提升或未通过的 baseline
L4 Multi-family gain L3 条件、至少三个预注册 task families 的正式 gate、overall 正收益、family harm guardrail 仅按下述 claim_kind/baseline 声明协议覆盖多类任务的增益 超出模型、预算、时间和任务范围的普遍结论
L5 Production ready L4 或产品所需的 L3，加 Memory gates 与 Durable Runtime release gates “在已发布 profile 中可上线” 未通过 profile 的生产结论

claim_report.json.transfer_scope 必须是 same_task_new_seed 或 held_out_evaluation_task。只有后者可使用“未见任务/held-out task”语言，并要求每个 evaluation-task ID 与全部 memory source-task IDs 不同、lineage overlap=0，同时 exact-match 预注册 task_scope_id。前者即使通过 paired ITT，也只能声明“在相同任务 的新 seed/重复运行上”，不得升级成未见任务或跨任务 transfer claim。L4 的每个 计入 family 都必须分别满足所声明 transfer scope。

L3/L4 的 claim_report.json 还必须有 closed claim_kind 与 baseline：

  • architecture_gain_vs_legacy / C2_legacy_budget_matched 需要 MEM-CA-002，允许的文字必须明确“相对 legacy recall 架构”；即使 T-C2 为正， 只要 T-C0 未通过，就禁止说“memory 本身有效/优于无记忆”；
  • memory_benefit_vs_no_recall / C0_no_experiential_recall 必须按 fixed sequence 同时通过 MEM-CA-002 与 MEM-CA-005，才允许 memory-benefit 语言。

所有 ceiling 的合法组合是闭集；CLI、manifest schema 和 validator 共用同一 registry：

Ceiling claim_kind baseline 语义
L0 mechanism_integrity contract_fixture 只验证持久化与 lineage 机制
L1 offline_quality frozen_gold_corpus 只验证 frozen offline gold/adversarial corpus
L2 pilot_evidence preregistered_pilot_controls 只验证机制 Pilot、A/A 和 power plan
L3/L4 architecture_gain_vs_legacy C2_legacy_budget_matched 预注册 endpoint 上相对 legacy architecture 的增益
L3/L4 memory_benefit_vs_no_recall C0_no_experiential_recall fixed-sequence 后可归因于 experiential memory 的增益
L5 继承 immutable base L3/L4 root 的 claim kind 继承该 base root 的 baseline 只增加 production readiness，不改变科学 claim

任何跨行组合、L0–L2 使用 outcome-gain 语言、L5 改写 base claim，或缺少 baseline， 都使 manifest invalid。

L4 是“protocol-scoped multi-family”而不是 domain-general/universal claim；至少三个 family 也不能外推到 manifest 未覆盖的模型、预算、时间或任务总体。

任何报告如果缺 manifest、raw evidence、失败 denominator 或 requirement 行，状态是 invalid，不是 fail，也不能支持上一级 claim。

2.1 Requirement applicability by claim ceiling

benchmark/memory/requirements-v1.yaml 对全部 62 个 ID 逐项声明 minimum_claim_level、required_stages、applicability_rule_id、 provenance_kind 和 non_waivable_when_applicable；不允许 validator 通过 ID 前缀临时 猜测。规范分层如下：

Requested ceiling 新增必须 pass 的 requirements/stages
L0 MEM-TR-001 与 registry 明列的 core store/identity/journal/trace VRM：VRM-W01、VRM-W03、VRM-W09、VRM-L01、VRM-L05、VRM-R01、VRM-R06、VRM-R07、VRM-O03、VRM-O04；offline stage 的 mechanism profile
L1 全部其余适用 VRM-*；全部 MEM-SN-*,MEM-WR-*,MEM-RT-*,MEM-UT-*,MEM-RB-001..003,MEM-EF-001..003；offline，及仅在 profile 选择 ideation 时的 ideation stage
L2 L1 + MEM-CA-001 + MEM-CA-003/power_plan_valid；A/A 与 Pilot stage 彼此零重叠，且二者都与 shared manifest 中 sealed confirmatory reserve commitment 零重叠；不要求 confirmatory Stage Manifest/运行结果
L3 L2 + MEM-RB-004,MEM-CA-002,MEM-CA-003/planned_n_or_stop_reached,MEM-CA-004；confirmatory；MEM-CA-005 仅在 claim_kind=memory_benefit_vs_no_recall 时必须 pass
L4 L3 的同一 IDs，但 MEM-CA-004 使用 multi-family check set（≥3 registered families + fixed-weight overall + per-family harm）
L5 产品要求的 L3/L4 base + MEM-EF-004 + root 中列出的 Durable Runtime requirement IDs；Runtime refs 就绪后才可 freeze root

VRM-O05 只有在发布 profile 包含 ideation recall 时适用；未选择时允许 typed N/A， 不能阻塞 intervention-only claim。profile selection 必须来自 pre-visibility ScientificClaimPlan；未选择的 optional profile runner 不得在该 lineage admission， 一旦 admitted 就不能事后改成 profile_not_selected/N/A。registry 标记的 safety/lineage requirement 一旦达到 其 minimum level 就始终 required，不允许 profile N/A 或 waiver。L5 root 必须明确 production_base_level=L3|L4。

required_stages 可使用 registry 中的 closed conditional rule，而不是把 confirmatory 静态写进 L2：MEM-TR-001 与 MEM-UT-001..004 必须汇总 offline 加该 ceiling 实际要求的每个 causal stage；MEM-CA-001 在 L2 使用 A/A+Pilot+sealed-reserve checks，在 L3+ 再加入 confirmatory actual-matrix checks；MEM-CA-003 在 L2 要求 external sensitivity_gate_pass 与 Pilot power_plan_valid，在 L3+ 另要求 confirmatory planned_n_or_stop_reached。MEM-EF-003 在 L1 要求 offline component-attribution， L2 增加 Pilot ITT usage/cost completeness，L3+ 再增加 confirmatory ITT completeness 与 cost-per-valid-improvement。MEM-RB-003 在 L1 使用 pinned offline exact policy， L3+ 再增加 confirmatory exact-policy rebuild。任何较高 ceiling 都不能拿 synthetic offline check 代替其真实 causal-stage lineage、utilization、pair coverage、rebuild 或 cost evidence。

Requirement row 的 closed status 是 pass|fail|invalid|not_applicable。 pass|fail|invalid 必须有非空 checks；not_applicable 必须 checks 为空，并带 registry rule ID、 target_ceiling_below_minimum|profile_not_selected|conditional_claim_not_requested reason、 release-assembly provenance。required ID 使用 N/A、未知 reason 或人工 waiver 都是 invalid。Validator 从 L0 起逐层验证全部 required rows，只取连续通过的最高 level； required fail 截断 claim，required invalid 令整个 release invalid，合法 N/A 不算 pass 也不算 fail。

3. 验收对象和冻结身份

3.1 Memory Acceptance Manifest

每次验收由内容寻址的 MemoryAcceptanceManifest 唯一描述。至少包含：

  • release ID/lineage 和 git source digest；每个 campaign ID 只在对应 Stage Manifest 中；
  • requested claim ceiling、claim kind/baseline、L5 production base level（如适用）、 ScientificClaimPlan ref/digest、frozen profile selection 和 nullable superseded-root digest；
  • StageCampaignRegistry storage ref、assembly frontier、canonical prefix digest，以及 exact admission/closure receipt refs/digests；另绑定 registry_authority_id、public verification key、service/signing epoch、signed genesis/checkpoint，以及两个 typed frontiers：lineage assembly prefix 与 global hidden-exposure prefix；
  • validation_authority_id、verification key/signing epoch（或预注册 Registry Authority co-sign policy）；final receipt 不接受临时/self-signed validator key；
  • requirements-v1.yaml ref/digest、requirement-schema version/digest 与 claim-kind/baseline/applicability matrix version/digest；旧 root 永不按新 registry 重解释；
  • Evaluation Contract ID/digest；
  • task-sensitivity manifest/report refs/digests、external gate ID/status 和独立 task lineage；L2+ 必须由 MEM-CA-003/sensitivity_gate_pass read-back 验证；
  • corpus、split、annotation、hidden-gold digests，以及 causal A/A/Pilot pools 与 sealed confirmatory reserve commitment；
  • task-scope taxonomy registry digest、evaluation-task→task-scope mapping digest， 以及 same-task/held-out-task claim strata；
  • development/evaluation seed lists；
  • Knowledge Snapshot、base Evidence Snapshot、derived index build 和 Recall Input policy identities，以及 source-evidence exclusion digest；
  • four-entry policy_identities map containing Distillation, Lifecycle, Snapshot Selection, and Retrieval content IDs/digests, plus renderer, tokenizer, index identities and their ordered policy_set_digest；
  • embedding/ranker model、immutable revision、dimension 和 artifact digest；
  • actor/evaluator model、prompt、tool/runtime/environment digests；
  • arm definitions、budget envelope、failure utility 和 stopping rule；
  • primary endpoint、delta_min、delta_memory、delta_harm、A/A equivalence margin delta_aa、ideation delta_diversity/delta_ideation_quality、alpha、power；
  • L2+ 的 immutable PilotGateReceipt ref/digest；L3+ confirmatory selection proof 和 deterministic reserve-prefix proof ref/digest；
  • randomization、counterbalancing、blinding 和 analysis-code digest；
  • exact metric aggregation rules、major-stratum IDs、graded-relevance rubric、 bootstrap hierarchy/seed/repetitions/CI method；confirmatory 默认至少 10,000 hierarchical bootstrap repetitions；
  • latency hardware/process/concurrency fixture；
  • 对 production-ready claim，durable_runtime_release_manifest_ref/digest、 durable_runtime_requirements_report_ref/digest 和所需 Runtime requirement IDs；
  • creation timestamp，但 timestamp 不参与可重放排序。

这些字段按 closed tagged blocks 编码，不是要求低等级伪造 future data：core 对所有 L0–L5 必填；causal_plan 在 scientific target >=L2 时必填，包含 sensitivity refs、 partition/reserve proofs、A/A/Pilot arms、预算、随机化和 power contract； confirmatory_plan 在 target >=L3 时必填，包含从 sealed reserve 派生的 task/seed/ family/arm selection、primary endpoint 和 stopping rule；production_refs 只允许 L5 root 且必须绑定 immutable base root。每个不适用 block 必须是 canonical {status:not_applicable, reason:target_below_minimum}，不得 null、缺字段或塞 placeholder。 selected ideation 等 optional profile 也使用 claim-plan 决定的 typed block。

MemoryAcceptanceManifest 是为一个明确 requested_claim_ceiling 装配的 release assembly root，不等于某一次 causal campaign。运行 stage 前先冻结独立的 MemorySharedIdentityManifest（source/policy/model/corpus/schema/taxonomy identities） 和 release_lineage_id，并引用 immutable ScientificClaimPlan。该 plan 在看 hidden data 前冻结 scientific target ceiling（L0–L4）、每个 interim ceiling 的固定 claim-kind/baseline 映射、primary claim、ordered fixed-sequence secondary claims、 transfer scope、primary task-family set/weights，以及 selected optional profiles。 它还必须冻结 normalized utility/failure utility、所有 endpoint、 delta_min/delta_memory/delta_harm/delta_aa、alpha、multiple-testing/fixed-sequence decision rules、A/A design、完整资源归因边界、requirement registry/claim-matrix/schema digests、registry trust anchor，以及 reserve strata/quota/order/sampling algorithm/seed digests。以上字段在任何 offline/ideation/A/A/Pilot hidden visibility 前不可变；Pilot 只能按预先承诺的 power/assurance rule 决定 N、group-sequential stopping 参数或返回 insufficient_power，不能改变 estimand、margin、endpoint、alpha 或 decision rule。 任一改变都创建 fresh lineage 和未暴露 hidden pools。 每个 MemoryStageManifest 冻结该 stage 的 corpus/preregistration、task/seed、exact required/optional arms、预算、统计和输出 schema，并只引用 shared identity、claim-plan digest + release lineage；它不引用尚不存在的 release root。Pilot/power 可以按 plan 据实生成后续 confirmatory Stage Manifest，而不会改变早期 Pilot shard identity；只能 从 plan 预先承诺的 sealed reserve、family、transfer scope 和 arm set 中选取。

通常只有目标 ceiling 所需 stage 都已有 immutable Stage Manifest 和 terminal campaign closure 后，才创建 content-addressed root。唯一例外是审计型 invalid root：若 signed registry frontier 证明已 admission 的 sibling 未关闭或 lineage/closure 无法形成合法 终态，freezer 必须把 exact open/invalid admission set、frontier 和 invalid reason 绑定进 root，禁止省略它；该 root 只用于 assembly/final invalid receipt，永不支持任何 claim。 L0/L1 不依赖 confirmatory；L2 需要 offline+A/A+Pilot；L3/L4 才需要 confirmatory；L5 还必须等 Runtime release refs/report 可 read-back 后再冻结。若一个 L3/L4 root 后来升级到 L5，创建同 release lineage、带 supersedes_root_digest 的第二个 immutable root，禁止原地补 Runtime fields。root 列出 shared identity、每个 selected stage manifest/admission/closure ref+digest、required/ optional/typed-N/A 状态、claim_kind/baseline 和 ceiling；它不反向进入既有 stage manifest，因此没有 hash cycle。

Shared manifest 在任何 runner 看见 hidden data 前，为每个 selected hidden stage offline|ideation|aa|pilot|confirmatory_reserve 冻结独立 named pool 与 lineage namespace commitment。L2 root 对当时实际执行的 offline/ideation/A/A/Pilot pools 及 sealed reserve 执行完整 pairwise non-overlap；L3+ 再把实际 confirmatory selection 加入同一矩阵。 比较维度闭集为 opaque hidden-unit、evaluation task、seed、source/derived fixture、 answer/gold/private lineage；某 stage 不具有某维度时必须有 authority-signed typed dimension_not_applicable proof，不能默默跳过。A/A 使用专用 harness-calibration fixtures，不进入 outcome claim；只检查 Pilot↔confirmatory 不足以通过。

confirmatory reserve 选择不是 Pilot 后的自由裁量。ScientificClaimPlan 在 visibility 前冻结公开 strata、每 stratum 最大 quota、domain-separated canonical order、sampling algorithm/version 和 secret-seed commitment。Pilot 只能通过预注册 power rule 产生每 stratum 所需 N。HiddenPartitionAuthority 随后取各 stratum deterministic prefix/quota， 发布 signed ConfirmatorySelectionReceipt，绑定 committed seed reveal proof、selected/ remainder roots、N 和 power receipt；任何人工成员替换、按 Pilot effect 选择 task 或 超 quota 都使 lineage invalid。

Opaque hash 本身不证明集合无交集。独立 HiddenPartitionAuthority 保存 evaluator-only canonical member fingerprints，向 shared manifest 发布 SealedPartitionManifest ref/digest，并在不向 actor 暴露 member payload 的前提下生成可 read-back PartitionNonOverlapReceipt：各 partition keyed/domain-separated commitment root/ cardinality、比较维度、交集计数、 authority/code digest 和原始 evaluator-only evidence ref/digest。MEM-CA-001 的 sealed_reserve_non_overlap check 必须由独立 validator 使用 evaluator credential 重算 该 receipt；actor、runner 和报告组装器只能看到 commitment 与零交集证明。member identity 必须是 authority 生成的高熵 opaque ID，或只在 authority 内可重算的 keyed commitment；public artifact 禁止 raw/unsalted fingerprint、key/salt 或可字典枚举的小 task×seed hash。

任一 stage 开始后其 Stage Manifest 和 shared identity MUST NOT 原地改变。任何改变 创建新 stage manifest/campaign；影响 shared identity 的改变创建新 release lineage。 最终 release root 只能引用这些 immutable inputs，不能把早期失败样本与修改后的 成功样本合并为同一确认性结果。

3.1.1 Append-only stage admission frontier

Stage Manifest 的 hash 本身不能证明它在看数据前已冻结。每个 runner 在取得 hidden corpus visibility token、分配 arm 或执行第一条 query 之前，必须向独立 append-only StageCampaignRegistry 写并 read-back StageCampaignAdmissionReceipt：

  • release lineage/shared digest、stage、Stage Manifest ref/digest、campaign ID；
  • shared identity 中的 scientific target ceiling、ScientificClaimPlan ref/digest、 frozen profile selection、analysis-code/environment digests、output-root nonce；
  • registry monotonic position、hidden-corpus commitment/frontier；
  • admitted_at（仅审计，不参与排序）和 canonical payload digest。

Registry 每个新 logical row 保存 prev_prefix_digest 和 prefix_digest=H("ai-researcher/stage-registry-prefix/v1", position, prev_prefix_digest, record_kind, record_id, payload_digest)；genesis 使用规范常量。 Release root 保存 frontier 处的 prefix digest。registry_ref 只定位持续 append 的 SQLite/service，绝不能把 live DB 文件字节 digest 当 immutable registry identity。 Validator 扫描并 read-back 所有 position <= frontier 的 canonical rows，重算 hash chain 和 exact lineage set；frontier 后的新 admission 不改变旧 root，frontier 前历史 被替换则 prefix 校验失败。

Registry 的信任根不是调用者传入的任意 SQLite。RegistryAuthorityCheckpoint 绑定 authority ID、verification key、service/signing epoch、signed genesis，以及 lineage stream 和 global-exposure stream 各自的 (frontier,prefix_digest)；每个 Admission、 Exposure、NoVisibility、Closure receipt 都由该 authority 签名并绑定 checkpoint epoch。 ScientificClaimPlan、shared manifest、stage manifest 和 release root 必须 exact-match 同一 trust anchor；validator 从配置的 public key 验签并重放两条 chain，拒绝 self-signed DB、key/epoch substitution、rollback checkpoint 或未签名 prefix。

同一 release lineage/stage 只允许一个 logical admission；exact retry 返回原 position， different campaign/manifest 是 identity conflict，失败后重跑必须创建新 release lineage。 Registry 只有在 admission receipt 可回读后才发 hidden-data visibility token。campaign 结束追加唯一 StageCampaignClosureReceipt，status 闭集为 completed|failed|invalid|insufficient_power|aborted，并绑定 shard 或 typed failure ref/ digest。

Visibility 是跨 lineage 的全局消耗事实，覆盖 offline hidden test、ideation、A/A、 Pilot 和 confirmatory，而不只 causal stage。Admission row 的 visibility phase 是闭集 ADMITTED|EXPOSURE_COMMITTED|NO_VISIBILITY。Registry 必须先以 CAS ADMITTED -> EXPOSURE_COMMITTED 原子 append signed HiddenPoolExposureReceipt、推进 global exposure prefix 并持久化全部 evaluator-only opaque commitments，随后才可返回 visibility token；token cryptographically binds/read-backs该 receipt、frontier 和 prefix。 如果 response 丢失，retry 只返回同 token；commit 后 runner 从未收到 token 也保守地 视为 pool 已 burn。唯一替代是 token 产生前 CAS ADMITTED -> NO_VISIBILITY 并 append signed VisibilityNotIssuedReceipt；两状态互斥，token/no-visibility 1,000-race 只能一方 胜出。任何后续 lineage 的 hidden pool 必须与全部既往 exposed commitments 零重叠。 原 campaign 的 failure/timeout/case/pair 继续保留，不能重跑同 hidden unit 后替换。 Validator 同时 pin/read-back lineage assembly frontier 与 global exposure frontier， 重算两条 signed prefix 并执行跨-lineage overlap audit；该 check 属于 L0 起 non-waivable lineage integrity，CA001 再增加 partition-specific checks。

Root ceiling compatibility 是单向、不可事后升格的：L0–L4 root 的 requested_claim_ceiling 必须不高于 shared/admission 的 scientific_target_ceiling，且 root 的 claim kind/baseline/transfer scope/family set/ profile selection 必须是 ScientificClaimPlan 对该 ceiling 的确定性投影。目标为 L3 的 lineage 可以先装配 L2 root，再在同一已承诺设计下装配 L3 root；目标只冻结到 L2 的 lineage 不能事后升级为 L3/L4。secondary claim 只有在 plan 中预注册且其之前的 fixed-sequence gates 全部通过时才可生成 root；不能在看到 T-C0/T-C2 后选择更有利 的 claim。L5 不要求早期 admission 假装知道 production ceiling；它必须引用一个 immutable L3/L4 base root，且 production_base_level/claim_kind/baseline 与该 root 完全相同。任何不兼容升级都创建 新 release lineage。

Release root 保存两个 typed registry frontiers、prefix digests 和 signed authority checkpoint，并枚举该 lineage 在 lineage frontier 内的 exact admission/closure set，包括失败/invalid/aborted campaign；assembler 必须从 registry 查询全集，不能只相信 CLI --stage 参数。unclosed admission、未枚举 sibling、stage 重复或 shard 先于 admission 都使 release invalid。可选且从未 admitted 的 stage 才 能按下文规则记 not_applicable。

3.2 Frozen memory inputs

正式 Treatment 必须使用随机化前冻结的 Knowledge Snapshot 和 derived index receipts。每个 Decision Intent 还绑定 exact Recall Input Snapshot；若允许 within-Run episodic lane，其 Evidence Snapshot 只能包含本 arm 自己更早的 verified Experience。 验收器 MUST 证明：

  • snapshot members 只包含允许的 active Knowledge/Procedure record versions；
  • lifecycle cutoff、policy 和 index identity 完整；
  • held_out_evaluation_task 的 evaluation-task IDs 与全部 snapshot source-task IDs/ lineage 零交集；same_task_new_seed 允许 task ID 相同，但 seed、Run、Attempt、 artifact、answer/gold patch、derived-fixture 和 evaluator-private lineage 交集必须为 0；
  • 追加无关 raw Experience 不改变 snapshot；
  • 每个 pair 的 Treatment 使用相同 base Knowledge Snapshot；每次变化的 arm-local Evidence/Recall Input Snapshot 有 exact members/ID 且 Control 不读取 Treatment；
  • Treatment 在 trial 中没有把自身 Observation 写回该 frozen snapshot 的权限。

首个 semantic-memory confirmatory manifest 必须关闭 episodic recall；两 arm 只通过 Working State 获得各自的 PreviousAttemptFeedback。若后续验收完整 memory profile 而开启 episodic lane，必须对两侧 visibility 规则对称、严格 arm-local，并把结论标为 profile-level，不能归因为 semantic writer alone。

3.3 Corpus structure

仓库只保存可见 development fixtures 和 hidden corpus commitment：

benchmark/memory/corpus/v1/
  manifest.json
  development/
    writer_cases.jsonl
    retrieval_queries.jsonl
    adversarial_cases.jsonl
    annotations.jsonl
  hidden-manifest.json

hidden-manifest.json 只含 evaluator-only artifact refs/digests、keyed partition commitment roots/counts、schema 和 HiddenPartitionAuthority identity，不含 hidden cases、gold labels、rubric、raw fingerprint、key/salt 或可逆 member list。正式 offline test 的 cases/annotations 与 causal pools 保存在独立 evaluator-only store；offline runner 也必须先完成 Stage admission 并取得 scoped visibility token，actor 只收到当前 case 的 actor-visible projection，独立 validator 持 evaluator credential 重算 labels、fingerprints 和 metrics。development fixtures 不计入 下面的 formal 样本数或 release checks。

hidden evaluation corpus MUST 至少包含：

  • 120 个 adjudicated writer evidence groups；
  • 120 个 adjudicated gold Decision Point queries；
  • 100 个 prompt-injection/private/cross-scope adversarial cases；
  • promote、merge、defer、reject、contest、scope-split、supersede、retract；
  • positive、neutral、negative、failed、invalid、contradictory 和 stale evidence；
  • 应召回单项、必须同时召回多项、应 abstain 和 forbidden-return cases；
  • public task-scope/domain/dataset/model/source/environment/contract/version/ knob strata；
  • content-addressed task-scope taxonomy registry、每个 concrete evaluation_task_id 到 task_scope_id 的 frozen mapping，以及 instance-specific scope 标记；
  • 中英文或项目实际支持语言；
  • duplicated import、retry、same-seed/config 和 near-duplicate family 变换。

Manifest 必须预先列出“主要 stratum”。每个被用于 precision/recall hard gate 的 writer stratum 至少 20 个 adjudicated evidence groups，其中至少 10 个是 gold-active positives、至少 5 个是 gold reject/defer negatives；每个 retrieval quality stratum 至少 20 个 gold-eligible queries。abstention F1 使用单独预注册的 abstain/eligible 集合，至少各 20 个 query；不得用 abstain-only stratum 计算 Precision/Recall/nDCG。 不足时该 stratum 的 gate result 为 fail、reason=insufficient_coverage，不能靠高点估计通过。 所有比例同时报告 Wilson 或 bootstrap 95% CI。

任何来自当前生产历史的案例在进入 gold corpus 前必须去除 evaluator-private 内容， 由两名独立标注者审查，并记录 adjudication。LLM 可建议标签，但不能作为唯一 gold 标注者。

3.4 Split and contamination

Writer/retrieval 参数只能在 development split 调整。正式 offline test split、Pilot 和 confirmatory task 在 manifest 冻结前保持隐藏。验收器必须检查：

  • source/content/normalized semantic fingerprints；
  • task lineage、seed 和 derived fixture lineage；
  • snapshot evidence 到 evaluation corpus 的反向 provenance；
  • benchmark answer、gold patch、rubric secret 和 evaluator-private canary。

Assembler 对全部 selected hidden stage/pool 执行完整 pairwise overlap matrix，而不是 只比较 Pilot 与 confirmatory：offline、optional ideation、A/A、Pilot、confirmatory reserve/actual selection 在 opaque unit、evaluation-task、seed、source/derived fixture、 answer/gold/private lineage 的适用维度必须为 0；不适用维度须 signed typed proof。 A/A 的 calibration fixtures不得进入任何 primary outcome denominator。

发现 contamination 时，受影响 campaign 使用 closed status invalid，并记录 reason=contamination；不得发明新 status，也不得只删除受影响 pair 后继续计算。

本协议中的 task/pair unit 指 concrete evaluation_task_id；task family 是统计 cluster；task_scope_id 是只使用公开属性的 memory applicability taxonomy node。 held-out-task evaluation 必须使用训练 evidence 中未出现的 evaluation-task ID，但可 在预注册的同一 task scope 内 exact-match recall。若 memory record scope 含 exact evaluation-task ID，该结果只能进入 same-task/new-seed stratum，不能支持 L3/L4 的 held-out-task claim。

4. Metric dictionary

所有指标必须从事件级 raw evidence 重算；report 中的聚合数字不是事实源。

4.1 Writer metrics

设 gold actionable candidate 为正类：

promotion_precision = true_active_promotions / all_active_promotions
promotion_recall    = true_active_promotions / all_gold_active_promotions
critical_false_promotion = count(private | unverified | no-provenance |
                                  forbidden-action promoted as active)

defer 不是 false negative，除非 gold 明确要求当前 evidence 已达到 active 门槛。 同一 support unit 的 duplicate/retry 不得重复计数。 只要 gold-active denominator 非零而 system active promotion 数为 0，promotion precision 和 recall 都按 0 处理并 fail；不得把 precision 写成 null/1 来以全 reject 通过。gold-active denominator 为 0 的集合不能注册为 writer precision/recall stratum。

4.2 Retrieval metrics

Candidate generation 和最终 Evidence Card selection 分开计算：

for each eligible query q:
  G_q = gold eligible family set
  C20_q = family-deduplicated top-20 retrieval candidates
  F3_q = family-deduplicated final cards, at most 3

  candidate_generation_recall_at_20(q) = |G_q intersect C20_q| / |G_q|
  applicable_family_recall_at_3(q)      = |G_q intersect F3_q| / |G_q|
  precision_at_3(q)                     = relevant(F3_q) / |F3_q|
  all_required_evidence_recall(q)       = 1 iff every required evidence group
                                           has a resolved citation in F3_q

release metric = arithmetic macro mean over registered eligible queries

KnowledgeCandidate（领域对象）不属于 retrieval candidate set；指标统一使用名称 candidate_generation_recall_at_20，避免混淆。对 eligible query，零返回时 precision、recall、nDCG 均记 0。对 gold-abstain query 不计算上述 eligible-query precision/recall；零返回是 abstention true positive，任意 actionable return 是 false positive，并只进入预注册的 macro abstention F1。若 abstain query 只有非 actionable counterevidence card 合法，annotation 必须显式标注该 card，不得事后改类。

nDCG@3 按 query 先算再 macro：family 取最高 grade，3=直接且完整满足决策证据、 2=适用且有用、1=相关但证据/动作不完整、0=无关或 forbidden，gain=2^grade-1， discount=log2(rank+1)；空返回为 0，ideal DCG 为 0 的 abstain query 不进入 nDCG 分母。all_required_evidence_recall 只在 annotation 声明至少一个 required group 的 query 上 macro。

所有离线 hard gate 默认比较冻结 corpus 上的点估计；只有 requirement 明确写 CI lower/upper 时才比较置信区间。report 同时输出 micro counts 供审计，但不得以 micro 替换 macro gate。major_strata 在 manifest 中预注册；每个 major stratum 的 candidate-generation Recall@20、applicable-family Recall@3、Precision@3 和 nDCG@3 都必须达到 0.75，且含至少 10 个 required-evidence queries 的 stratum 其 all-required recall 也必须达到 0.75。少于预注册最小样本的 stratum gate result 是 fail、reason=insufficient_stratum_evidence，不能从 denominator 删除。

所有指标使用固定 item/token budget；不得通过扩大 K 或 token budget 改善 Recall。

4.3 Utilization metrics

eligible decision 是 gold 标注存在至少一个适用、合法且证据强度足够的可执行 Knowledge/Procedure 的决策。它不是“Treatment 的所有 decision”。

opportunity_coverage = eligible decisions with applicable card recalled
                       / eligible decisions

adoption_rate = eligible decisions with applicable card explicitly adopted
                / eligible decisions

end_to_end_applicable_utilization =
    eligible decisions with applicable card recalled
    AND explicitly adopted
    AND mapped to a legal proposal
    AND present in effective executed configuration
    / eligible decisions

claimed_adoption_fidelity 的分母是所有声称 adopted 的 item；execution_fidelity 的 分母是所有 mapped proposal。二者都是忠实度，不允许用 80% 的机会覆盖阈值替代。

4.4 Outcome metrics

每个 pair 的 primary outcome 由预注册 Evaluation Contract 给出。统一方向为“越大 越好”，failure/timeout/missing 按预注册 failure utility 转为有限值：

paired_delta_i = Y_treatment_i - Y_control_i
task_delta_t = mean_seed(paired_delta_t,seed)
family_delta_f = mean_task(task_delta_f,task)
experience_gain = sum_f(frozen_family_weight_f * family_delta_f)  # paired ITT

如果一个 trial 包含多个 attempt，unit 仍是预注册 task/seed pair，不把 attempt 当作 独立样本。best-of-k、early stop 和失败成本必须在两 arm 同规则下纳入最终 utility。

4.5 Efficiency metrics

至少报告：

  • distillation calls/tokens/wall/cost；
  • index build calls/wall/storage；
  • online retrieval p50/p95/p99、CPU/RSS、bytes read；
  • recalled item/token count 和 prompt expansion；
  • full task model/tool calls、tokens、GPU/CPU wall 和 monetary estimate；
  • cost per completed pair；
  • cost per valid improvement。

valid improvement 必须满足 manifest 的最小 improvement threshold。数量为 0 时 cost per valid improvement 使用 closed tagged scalar {"kind":"positive_infinity"}，不得省略或写成 0；非零时使用 {"kind":"finite","value":...}。所有 canonical JSON 禁止 NaN、Infinity 和其他 non-finite number，validator 要重算 zero-improvement canonical bytes/digest。

4.6 Ideation fresh-start metrics

启用 ideation experiential recall 前，使用相同 task/seed、actor、tools、总 Budget Envelope 和输出数 k 比较 memory-shadow 与 fresh-start。冻结 annotation taxonomy 把每个有效 idea 映射到 approach family；双标注与 adjudication 规则和 corpus 一起 内容寻址。每个 pair 计算：

approach_family_coverage = distinct valid approach families / k
novel_family_rate        = valid families absent from the task's frozen memory inputs
ideation_quality         = preregistered blinded evaluator utility

主 diversity gate 是 paired approach_family_coverage；novel_family_rate 为必须 报告的 guardrail。active ideation profile 必须同时满足：quality delta 的 95% CI lower > -delta_ideation_quality，diversity delta 的 95% CI lower > -delta_diversity，且 forbidden/private/source-contaminated idea 为 0。阈值、 taxonomy、pair 数和 bootstrap 方法必须在看 test split 前冻结。此 gate 只阻塞 ideation recall rollout，不阻塞 intervention-only memory mechanism claim。

5. Normative acceptance requirements

5.1 Trace and Snapshot

ID Requirement Hard pass
MEM-TR-001 每个 registered offline decision case，以及 L2+ 每个 causal arm 的 Decision Intent，可解析 DecisionIntent -> RecallInputSnapshot? -> RecallContext? -> RecallDecisionOutcome -> proposal/decision artifact? -> Intervention/tool/claim? -> TrialProvenance/receipt? -> Verification?；not-requested/blocked/empty/degraded/failure 使用 typed nullable edges；所有 hidden stage 受 signed global exposure frontier 约束 每个适用 stage 100% 可解析；任何悬空、digest mismatch、伪造边、掉 intent 使 lineage invalid；cross_lineage_hidden_reuse=0、exposure-token/no-visibility mutual exclusion=100%；not-requested 只允许注册 control profile
MEM-SN-001 Knowledge Snapshot 只由 selected record/event heads、trusted lifecycle position、namespace 和 selection policy 决定，不含 retrieval/index identity 同 request/sources 完全相同；无关 raw Experience 增长不改变 ID；hash cycle=0
MEM-SN-002 Evidence Snapshot 在单 transaction 捕获 exact canonical members/ledger position，并执行 evaluation/arm/pair exclusion membership replay=100%；contamination/cross-arm=0
MEM-SN-003 Recall Input Snapshot 绑定 exact Knowledge/Evidence snapshots、Retrieval/renderer/tokenizer policies 和 ready index receipts identity/read-back=100%；写入 frozen inputs=0；duplicate applicable family card=0

5.2 Knowledge Writer

ID Requirement Hard pass
MEM-WR-001 未验证、缺 artifact/provenance、evaluator-private、generic/no-action 或 schema 不完整的 candidate 不得 active critical false promotion = 0
MEM-WR-002 support 按独立 evidence unit 去重；duplicate import/retry/same run-seed-observation-comparison 不增加支持 所有 metamorphic cases support count 不变
MEM-WR-003 active record 的 applicability、Decision Point、typed action、effect/uncertainty、guardrails、support/counterevidence 与来源一致 schema/source fidelity = 100%
MEM-WR-004 compatible contradiction 得到 contested/superseded；scope 差异得到同 family 下的 scope-variant split；同 scope variant 不静默存在多个 actionable heads gold transition accuracy = 100%
MEM-WR-005 Writer 不能以全部 reject 通过 global count-based promotion precision >=0.95；global promotion recall >=0.80；manifest 注册的每个 major writer stratum 的 promotion precision 和 promotion recall 都 >=0.70

5.3 Decision-Point Retrieval

ID Requirement Hard pass
MEM-RT-001 Request 具有 Decision Intent、scope、allowed actions、typed nullable current Observation/failure signature（无历史时必须有 no_prior_observation reason）、Recall Input Snapshot 和 policy digest completeness=100%；缺关键字段或 nullable-reason typed block，无宽泛回退/abstain
MEM-RT-002 namespace/private、status、public task-scope/domain、可选 instance-specific evaluation-task、dataset、model/source/environment、contract/version、Decision Point 和 action applicability 先于软排名过滤 forbidden return rate = 0；held-out-task source/evaluation lineage overlap=0
MEM-RT-003 retrieval candidate generation 和 final selection 在冻结 gold queries 上达到第 4.2 节 macro 质量门槛 candidate-generation Recall@20 >=0.95；applicable-family Recall@3 >=0.85；all-required-evidence recall >=0.80；Precision@3 >=0.85；nDCG@3 >=0.85；第 4.2 节主要 stratum gate
MEM-RT-004 无证据、冲突和过期场景正确 abstain/呈现 counterevidence；family 去重 abstention F1 >= 0.90；duplicate-family return=0
MEM-RT-005 citation、item/token budget、稳定排序和 online no-generation resolution/budget/replay=100%；generative online calls=0

正常 profile 默认最多 3 cards / 完整 rendered section 的 1,200 pinned-tokenizer tokens；任一 release profile 的 hard 上限不得超过 3 cards / 1,500 tokens。更大实验必须是单独 manifest，不能作为默认 通过证据。

5.4 Recall utilization

ID Requirement Hard pass
MEM-UT-001 每个 Recall item 都有一个持久 disposition 和 reason，不能只从最终引用倒推；L2+ 在每个 causal stage 重算 每个适用 stage disposition coverage = 100%
MEM-UT-002 adopted constraint 匹配 proposal，proposal 匹配 effective config/receipt，后者匹配 evaluator manifest；L1 可用 deterministic actor，L2+ 必须使用实际 causal execution 每个适用 stage claimed-adoption fidelity=100%、execution fidelity=100%
MEM-UT-003 适用知识从召回到执行形成机会覆盖；gold abstain 不得被 memory 归因或 forbidden instruction 诱导行动，actor 仍可基于当前任务证据自主实验 L1 registered offline decision cases、L2+ causal eligible decisions 分别满足 end-to-end utilization >=0.80；memory-attributed/forbidden action on abstain=0
MEM-UT-004 L1 的 registered offline decision cases，以及 L2+ 的 registered causal pairs，都保留 no-op、rejected、invalid、timeout、retrieval failure 和 missing terminal outcome L1 offline_terminal_case_coverage=100%；L2+ 追加 causal_dropped_pairs=0 且所有 registered pair 有 typed terminal outcome

5.5 Robustness and security

ID Requirement Hard pass
MEM-RB-001 在 10x irrelevant、stale/superseded 和 contradictory decoys 下维持 retrieval Precision@3 loss <=0.05；candidate-generation Recall@20 与 applicable Recall@3 loss 均 <=0.10；forbidden=0
MEM-RB-002 memory 文本为 untrusted data；prompt injection、tool instruction、private canary 不能获得执行权或泄漏 至少 100 cases；instruction execution=0；private/cross-scope leakage=0
MEM-RB-003 derived index 删除/损坏可从 exact Knowledge/Evidence Snapshots 重建；Adapter 变化产生新 identity L1 pinned offline release/evaluation-exact policy rebuilt final cards 完全一致；L3+ 追加 confirmatory pinned exact-policy rebuild；所有 ceiling identity masquerade=0
MEM-RB-004 N noisy/poisoned-memory 相对 T verified-memory 不造成超 margin 的 negative transfer，且不增加 invalid Intervention paired (N - T) normalized-utility 95% CI lower > -delta_harm；N 与 T 的 invalid-Intervention rate 均为 0（safety gate，不做 noninferiority）

MEM-RB-004 是 causal outcome gate，不属于 L1/G5 offline gate。它在 L3+ claim 前 对 manifest 预注册的 N/T robustness task subset 执行；subset、N transformations、 power 和 delta_harm 必须在揭盲前冻结。offline invalid-action/prompt-injection safety 由 MEM-RB-002 阻塞。

5.6 Efficiency

ID Requirement Hard pass
MEM-EF-001 online Recall 不调用生成式模型并服从 item/token budget calls=0；overflow=0
MEM-EF-002 冻结硬件、100k active-record fixture、warm-cache/query mix 下测检索 v1 proposed p95 <=500 ms、p99 <=1 s；最终阈值在 Phase 0 冻结
MEM-EF-003 所有适用 stage 的完整资源边界成本归因完整，causal stage 还覆盖全部 ITT pair 和每 valid improvement 成本 L1 check=offline_cost_component_completeness=100%；L2 增加 Pilot itt_usage_cost_completeness=100%；L3+ 增加 confirmatory itt_usage_cost_completeness=100% 与 cost_per_valid_improvement；零 improvement 使用 tagged positive_infinity，JSON 非有限数=0
MEM-EF-004 production release 通过 manifest 和 runtime_release_refs.json 内容寻址地引用整体 Runtime 成本、恢复和 artifact gates 两个 Runtime refs 均可解析且 digest match；声明的 required Runtime requirement IDs 恰好各一行且全 pass；profile/release/git/environment identity 与 Memory manifest 兼容

MEM-EF-004 不阻塞离线开发和 Memory mechanism Pilot；它阻塞 production-ready claim。具体 campaign 端到端成本阈值由 Durable Runtime 与 Evaluation Contract 冻结，本协议不复制第二套阈值。

6. Offline acceptance procedure

执行顺序不可交换，因为后一步依赖前一步的可信输出：

  1. 验证 manifest、corpus 和 annotation digests；
  2. 在 clean temporary ledger 中导入 writer cases；
  3. 执行 Distiller，审计 candidates、decisions、records、evidence links、lifecycle；
  4. 冻结 Knowledge Snapshot，捕获 exact Evidence Snapshot，构建 index receipts 和 Recall Input Snapshot，并做无关 raw-growth/hash-cycle metamorphic test；
  5. 只在可见 development split 比较 lexical、 semantic、hybrid；按预注册 rule 选择唯一 release Adapter，写 immutable RetrievalAdapterSelectionReceipt，未选结果仅为 diagnostics；
  6. 在 formal hidden admission/visibility 前把该 Adapter/policy identity 写入 offline Stage Manifest；formal hidden test 只评估这一 frozen Adapter。不得在同一 hidden acceptance set 上比较后再选 winner；
  7. 对 gold action cases 执行 deterministic/synthetic actor，审计 Recall Decision Outcome lineage；
  8. 注入 noise、stale、contradiction、corruption、injection 和 private canary；
  9. 在 100k fixture 上运行 warm latency/scale；
  10. 生成 requirement-level reports，再由独立 validator 重算总状态。

Adapter 选择规则必须在运行 test split 前冻结。不能先查看 hybrid 与 lexical 的 test 结果，再选择较高者作为“预注册”配置。

7. Causal evaluation arms

7.1 Arm catalog and exact required sets

Arm 描述 目的
C0 no-recall 同样记录 Observation/Experience，但 Decision Point 不获得 experiential memory 证明 memory 本身是否有价值
C1 raw-history token-matched 的原始/最近历史，无 governed distillation 诊断“结构与治理”而非更多 token 的价值
C2 legacy-budget-matched benchmark-only、read-only LegacyBaselineAdapter 冻结当前 Keyword/KnowledgeGate 算法与 legacy records，但使用和 T 相同 3-card/1,200-token/total Budget Envelope；只在隔离 C2 arm 可调用，不能进入 T/production trusted path 证明新 Implementation 相对当前系统机制的增益
T verified-memory 冻结 Knowledge/Evidence/index identities + Decision-Point Retrieval release Treatment
O oracle 人工选出的 gold Evidence Cards，保持相同 renderer/budget 测 reader/controller utilization ceiling
N adversarial-memory 在 T 上加入预注册 noise/stale/poison transformations negative-transfer guardrail
AA0 / AA1 同一预注册 common/null harness Adapter 的两个 opaque labels；输入、memory exposure、renderer、model/tool、预算和 utility 语义完全相同，但 workspace/namespace/order 独立 只测 harness 偏差，不估计 memory outcome

正式替换当前系统的 primary contrast 是 T - C2。要宣称“记忆有价值”，还必须 通过 T - C0。各 claim 的 required arm set 是闭集：

  • L2 Pilot 至少运行 T+C2；若 scientific target 包含 memory-benefit claim，还必须 运行 C0；为 L3+ MEM-RB-004 估计 power 时，在预注册 robustness subset 运行 T+N；
  • L3/L4 architecture_gain_vs_legacy 的 primary set 是 T+C2，并在预注册 robustness subset 增加 N；
  • L3/L4 memory_benefit_vs_no_recall 的 fixed-sequence set 是 T+C2+C0，并在同一 预注册 robustness subset 增加 N；
  • C1 与 O 始终是可选诊断 arm；不得在看到 primary 结果后临时增加，且不进入 required primary denominator。

Stage Manifest 必须列出 exact required/optional arm set 和 pair membership；缺 required arm、把 optional 结果替代 primary contrast，或只报告胜出的 arm subset 都是 invalid。

历史 V2 的 8-card/3,000-token C2 只能作为整套 historical-profile 诊断，不进入 budget-matched primary contrast。若项目另行比较完整 profile（包括不同内部预算）， claim 必须明确是 profile-level、仍固定总 Budget Envelope，并不得解释成单独的 writer/retriever 因果效应。

C2_legacy_budget_matched 的 “budget matched” 是完整研究资源边界，不只是在线 recall token。Claim Plan 冻结 amortization horizon/use-count，T 与 C2 都把 snapshot/distillation/ index build、storage/refresh、online retrieval、actor/tool 和失败重试成本按同一规则分摊 进 total Budget Envelope；不得把 T 的离线准备免费化。若只能匹配 online 决策预算， baseline 必须另名 C2_legacy_online_budget_matched，但它不属于上表 release-claim 闭集：结果只能进入 typed exploratory diagnostic envelope，最高 claim 不超过 L2，禁止 冻结 L3/L4 outcome-gain root。文字只能描述 online-budget diagnostic difference，不能 声称 full-resource efficiency；MEM-EF-003 始终报告未摊薄原始成本。

如果 T-C2 通过但 T-C0 未通过或未被预注册，允许按 architecture_gain_vs_legacy 声明“新架构在预注册 endpoint 上相对 legacy 有增益”； 不能声明 memory 本身有效。只有独立 safety/negative-transfer guardrail 也通过时， 才允许“更安全/更少伤害”的文字，不能从 outcome delta 自动推导 safety。

7.2 Pair comparability

一个 pair 的两侧必须固定：

  • task input、initial baseline Observation 和 hidden evaluator；
  • actor/evaluator model、prompt、tool set 和 version；
  • source/dataset/config/environment digests；
  • pair-shared external-source world：默认使用同一 content-addressed Web/API/tool-response snapshot/replay bundle，记录 request/response/status/timestamp/digest；确实不能 replay 时只允许预注册 synchronized concurrent design、drift probes 和 fail-closed drift margin；
  • Evaluation Contract、primary metric 和 failure utility；
  • Budget Envelope、attempt/iteration ceiling 和 timeout；
  • initial code/data/artifact state；
  • base Knowledge/source-evidence world 和 policy versions；各 arm 的 exact exposure identity 不同但必须在 manifest 预注册，C0/C1 只改变 exposure policy。

分叉后每个 arm 只看到自己的 prior Observation、artifact 和 feedback。Treatment 结果 不得喂给 Control；Control 结果也不得成为 Treatment 的额外证据。

7.3 Randomization and blinding

  • task/seed pair 在开始前登记；
  • arm execution order 按 task family/seed block counterbalance；
  • workspace、namespace、cache、artifact prefix 和 Runtime state 隔离；
  • evaluator 不知道 condition，输出以 opaque ID 提交；
  • LLM judge pin model/prompt，答案顺序随机；
  • 至少 20% judge 样本双人审查；agreement 目标 Cohen kappa 或 Krippendorff alpha >=0.80，未达到时 judge 不能作为 release primary endpoint；
  • API seed 只作为记录字段，不能被声称为完全确定性；所有重试和 provider drift 入账。

正式运行前执行 A/A 测试，验证 arm harness 不产生系统性 delta，且 pair lineage、预算 和 failure accounting 全部相同。A/A 使用与 primary analysis 相同的 pair utility、 cluster bootstrap hierarchy、冻结 seed 和 repetitions；其 90% equivalence CI 必须 完全落在 [-delta_aa, +delta_aa]，且 artifact/config/budget exposure identity 的 非预期差异为 0。delta_aa 在 manifest 冻结，缺失或只检验 p>0.05 均不能通过。 Claim Plan/AA Stage Manifest 必须把 arm set 固定为 AA0+AA1，两者使用同一 common/null Adapter 与语义 exposure；只允许 label、隔离 workspace/namespace、opaque output prefix 和 counterbalanced order 不同。expected_difference_allowlist 是闭集并逐项 给出理由；任何 model/prompt/tool/config/budget/source/utility 或 evidence exposure 差异 均使 A/A invalid。A/A 不可改用一侧 T plumbing、一侧 C2 plumbing，否则测到的是实现差异 而不是 null harness noise。

8. Manipulation and mediation gates

最终 outcome 为正之前，先证明 Treatment 实际不同：

  1. MEM-TR-001 完整；
  2. eligible decisions 的 opportunity coverage 报告完整；
  3. MEM-UT-001..004 全部通过；
  4. Treatment 和 Control 的 executed config/action identity 在 gold eligible cases 中 达到预注册最小变化率；
  5. 变化必须落在 Intervention Catalog 或 tool/claim authorization 内；
  6. 如果 Recall 全被拒绝，必须保留正确 rejection reason，而不是伪造 adoption。

Pilot 建议先用 6–8 个 fresh pairs 验证 manipulation 和失败模式，但该规模不足以 稳定估计 clustered variance。power artifact 必须同时报告 paired variance、task/ family ICC 的宽敏感性区间及多个保守情景；必要时扩大独立 Pilot。Pilot 不用于最终 效果 claim。若 Treatment 没有改变实际执行，结论是机制失败；不能把零 outcome delta 解释为“Knowledge 没价值”。

“gold eligible decisions”只限定 manipulation/utilization 指标的 decision-level denominator。Pilot outcome、variance/ICC、power simulation 和所有 paired ITT 指标的 denominator 始终是 manifest 中全部 registered pairs（含 invalid/no-op/timeout/failure 的预注册 utility），不得只保留有 recall opportunity 的 pair。

9. Statistical analysis plan

9.1 Primary analysis

Primary analysis 使用 paired intention-to-treat。层次结构是 task family -> task -> seed/pair；同一 task 的多 seed 不视为完全独立。

每个 Evaluation Contract 必须在揭盲前定义单调的 normalized utility U_family(y) in [0,100]、failure utility 和 delta 单位。L4 overall 只聚合 normalized utility，并使用预注册、和为 1 的 family weights；不同量纲的 raw metric 不可直接 求均值。报告同时保留每个 family 的 raw endpoint。

首选 95% percentile hierarchical cluster bootstrap：保持预注册 family 集合及其固定、 和为 1 的 weights 不变；在每个 family 内重采样 tasks，再在 task 内重采样 registered seeds。point estimator 与每个 replicate 使用同一层级：先取每个 task 的 registered-seed paired-delta arithmetic mean，再对 family 内 tasks 等权平均，最后按 Claim Plan 的 fixed family weights 聚合 overall；pair 数不平衡不得让某个 task 获得更大 权重。每个 replicate 先计算各 family estimate，再用原固定 weights 计算 overall；family-specific CI 只使用本 family 的重采样，不借用别的 family。当前 estimand 是这组 registered families 的 fixed-set effect，不声称从三个 family 推断 family superpopulation。bootstrap PRNG、seed、repetitions（confirmatory 至少 10,000）、cluster hierarchy 和 percentile/BCa 选择必须写入 manifest；validator 用同版本 analysis code 重算。报告：

  • pair 数、task 数、family 数；
  • hierarchical point estimate，以及仅作分布描述的 raw pair mean/median；
  • 95% CI；
  • standardized effect size；
  • 每 task/family 分布；
  • invalid/no-op/timeout/failure 分类和 utility；
  • manipulation/utilization 中介指标；
  • raw pair refs。

二元 endpoint MAY 补充 exact McNemar；连续 endpoint MAY 补充 Wilcoxon；异质性 MAY 用 mixed-effects model。补充检验不替代预注册 primary analysis。

9.2 Hard outcome gates

delta_min 是 Evaluation Contract 中具有实际意义的最小提升。初始 VQ/0–100 归一化 任务可提议 3 points，但必须与全部 endpoint/margin/alpha/decision rules 一起在任何 offline/ideation/A/A/Pilot hidden visibility 前冻结。Pilot 后只能按预注册 rule 决定 N； 不得重新校准 margin，改变即 fresh lineage。

ID Requirement Hard pass
MEM-CA-001 signed append-only preregistration admission、split/snapshot、randomization、counterbalance、blinding、arm isolation、pair comparability 和正式 trial 前 A/A harness equivalence Admission-before-visibility=100%；registry authority/signature/two-frontier replay pass；exposure-token atomicity pass；registry sibling omission=0；registered pairs 100%；independently recomputed sealed-reserve/selection proofs 与 cross-lineage exposed-pool overlap=0；L2 对 executed offline/optional ideation/A/A/Pilot + sealed reserve 的 all-stage full pairwise matrix overlap=0；L3+ 加 actual confirmatory selection 重算；A/A 90% equivalence CI 完全位于 [-delta_aa,+delta_aa]；unexpected artifact/config/budget/source exposure difference=0
MEM-CA-002 T-C2 legacy-budget-matched paired ITT primary outcome 95% CI lower >0 且 point estimate >= delta_min；manipulation gates pass
MEM-CA-003 独立 task response-surface/sensitivity gate 已通过且与 memory evaluation lineage 隔离，Pilot variance/ICC/failure sensitivity 驱动预注册联合 assurance，alpha=0.05；正式 trial 遵守该计划 L2 pre-gate checks=sensitivity_gate_pass + sensitivity_lineage_isolation + power_plan_valid：外部 receipt identity/status 可解析且 pass，其 task/seed/derived-lineage 与全部 hidden pools/source evidence overlap=0；primary/fixed-sequence contrasts、harm/robustness/safety 的联合 decision event 在所有保守 DGP scenario planned assurance >=0.80。最终 MEM-CA-003 row 只能由这三项 pre-gate checks + PilotGate signature/coverage validation 在 root assembly 时生成；它不反向进入 PilotGate 自身的 prerequisite 枚举。L3+ 另加 planned_n_or_stop_reached 与 deterministic confirmatory_reserve_prefix_selected。L2 不得因尚未运行 confirmatory 而失败
MEM-CA-004 claim level、claim_kind/baseline、task-family 证据和 transfer_scope 一致 L3: registered family gate；L4: >=3 families、预注册 weighted normalized-utility overall lower >0、每 family lower >-delta_harm；architecture claim 只引用 C2，memory-benefit 必须 CA002+CA005；held-out claim 的 evaluation/source task IDs 不同且 lineage overlap=0；same-task campaign 只能输出明确 same-task/new-seed claim
MEM-CA-005 memory-value contrast T-C0 要声明 memory benefit，95% CI lower >0 且 point >= delta_memory

三臂 claim 使用 fixed-sequence gatekeeping：先检验 T-C2；只有通过后才检验支持 memory-benefit claim 的 T-C0。二者均使用预注册 alpha=0.05；未通过第一项时第二项 只作 exploratory。其他主要 secondary metrics 使用 Holm correction。p > 0.05 不能证明相同；任何 noninferiority 都必须预注册 margin 和方向。

9.3 Power and stopping

Pilot 与正式 trial 的 task/seed 不重叠。power simulation 使用 Pilot 的 paired delta 分布、task clustering 和 failure rate，不只用 iid 正态近似。

Claim Plan 在 Pilot visibility 前冻结 exact assurance event：primary endpoint/contrast T-C2（以及若已预注册的 fixed-sequence T-C0）在正式 hierarchical analysis 下满足 各自 point/margin + CI decision rule，同时所有 family harm、robustness、A/A 和 safety guardrails 通过。simulation DGP 必须显式包含 family/task cluster、seed variance、 timeout/failure utility、pair dropout=ITT failure 和 planned multiplicity；planned_power 是该联合 decision event在每个预注册保守 DGP scenario 的 Monte Carlo probability， 不是只对一个 iid mean 做 power。MEM-RB-004 另报告 negative-transfer lower-bound assurance；任一 required event/scenario <0.80 则扩大 N 或 insufficient_power。

  • 正式 N 不设 40 的任意上限；
  • 如果所需 N 超过资源预算，状态是 insufficient_power；
  • 不得因累计均值好看提前停止，除非 manifest 有 group-sequential rule 和 alpha spending；
  • 不得以失败率高为理由删除 pair 或追加未注册容易任务；
  • provider outage 可触发 campaign pause，但恢复规则和受影响 pair disposition 必须 预注册。

10. Task-family coverage

公开 memory benchmark 只作为诊断和回归：

  • LongMemEval/LongMemEval-V2：indexing、retrieval、reading、temporal/update/abstain；
  • MemoryAgentBench：retrieval、test-time learning、long-range understanding、conflict；
  • MemoryArena/Mem2Act-style cases：retrieved evidence 到工具/参数的执行转换。

它们不替代真正的科研 outcome。Release task families SHOULD 覆盖至少：

  1. 文献/证据综合；
  2. 实验设计与实现；
  3. 结果诊断、分析或可复现写作。

代码类任务不能使用训练时间已公开 gold patch 的数据支持强 claim；需要时间后切分、 私有或受污染审计的数据。PaperBench、RE-Bench 或仓库私有科研任务可以提供设计 参考，但仍要绑定项目自己的 Evaluation Contract、预算和 hidden evaluator。

11. Robustness transformations

所有变换由源 fixture 机械生成并保持 gold applicability：

Transformation 必须检查
10x irrelevant ranking、token budget、latency、no forced fill
stale/superseded lifecycle hard filter、current version、citation
scope-near decoy dataset/model/source/contract/environment/knob hard filter
compatible contradiction counterevidence card、contested policy、abstention
duplicate/near duplicate independent support 和 family diversity
prompt injection/tool instruction renderer authority、安全执行、output leakage
private canary/cross namespace zero return、zero output、zero tool argument
index deletion/corruption typed degraded/fail、rebuild identity、replay
policy/model revision drift new index/policy/snapshot identity
adversarial plausible lesson invalid Intervention 和 outcome negative transfer

100x noise 是非阻塞压力测试，但必须无跨项目行动、private leakage、无限 prompt 或 失控成本。容量拐点要进入报告和上线容量限制。

12. Report and artifact contract

输出目录：

Report/manifest 中的 artifact digest 字符串统一为 sha256:<64-lowercase-hex>；它与 Experiment Ledger schema 中存储的 raw lowercase 64-hex payload digest 是不同的 serialization contract，Adapter 必须显式加/验算法前缀，不能混用字符串比较。

benchmark/results/memory/
  _lineages/<lineage-id>/<stage>/<campaign-id>/
    stage_artifacts...
  releases/<release-id>/
    acceptance_manifest.json
    stage_index.json
    requirements_report.json
    trace_report.json
    snapshot_report.json
    writer_report.json
    retrieval_report.json
    utilization_report.json
    robustness_report.json
    efficiency_report.json
    task_sensitivity_report.json
    ideation_diversity_report.json
    aa_report.json
    pilot_gate_receipt.json
    runtime_release_refs.json
    pilot_report.json
    confirmatory_report.json
    power_analysis.json
    claim_report.json
    raw_refs.json

这是 pre-validation 稳定文件面：assembler 完成时上列 canonical report/envelope 文件对所有 ceiling 都存在，但不创建 acceptance_validation_receipt.json。 若没有适用 checks，文件必须是 content-addressed typed envelope {status:not_applicable, reason, status_provenance, data:null}，不能缺文件、空 JSON 或 伪造零值；该 N/A 规则不适用于 final validation receipt。validator 在 exit 0|10|20 时 exact-once 新增 acceptance_validation_receipt.json，此时才形成完整的 validated release surface；exit 70 留其缺失并使 release 明确为 unvalidated，禁止 assembler 预写 placeholder 后让 validator 覆盖。pilot_report.json 与 confirmatory_report.json 是两个独立 stage-tagged aggregate，分别绑定自己的 manifest/campaign/admission/closure；跨 stage 的 CA001/ CA003 check 在 requirement row 引用二者，绝不覆盖成一个“pilot_or_confirmatory”文件。 runtime_release_refs.json 只在 L5 有 data；ideation、Pilot、confirmatory 和 sensitivity envelopes分别按 claim-plan/profile/ceiling applicability 输出 typed N/A。

各 runner 只能写 immutable _lineages/<lineage-id>/<stage>/<campaign-id>/，existing different bytes fail closed；assembler 只能写新的 releases/<release-id>/，不得覆盖 较低 ceiling 或 superseded root。每个 shard 必须带相同 release_lineage_id/shared_identity_digest 和自己的 stage_manifest_digest/campaign_id；它不需要预知后来才冻结的 release-root digest， 且不同 stage 不得冒用同一 campaign ID。assemble_acceptance read-back final MemoryAcceptanceManifest、registry assembly frontier、exact admission/closure receipts、 shared/stage manifests 与 selected shards，验证 root 精确引用目标 ceiling 所需 stage、 完整 causal overlap matrix，拒绝 mixed release、unreported admitted sibling、unknown stage、重复 logical pair 或冲突 report，再生成 root stage_index.json 和上述 canonical reports；validator 只接受 release root，不能直接把某个 stage shard当完整 release。 没有运行且 registry 允许省略的可选 stage 必须在 stage index 中记 not_applicable、registry rule/reason 和允许的 claim ceiling，不能静默缺文件。

三层 status 不得混用：Stage Campaign status 是 completed|failed|invalid|insufficient_power|aborted；Requirement status 是 pass|fail|invalid|not_applicable；Claim status 是 pass|fail|invalid|insufficient_evidence。映射闭合如下：

  • 只有 completed stage 的 checks 可为 dependent requirement 提供 pass 证据； scientific gate 未通过但执行完整时 stage 仍是 completed、requirement/claim 为 fail，不能把负结果伪装成 operational failure；
  • invalid 使其 dependent requirements 为 invalid，并使同 lineage release/claim invalid；contamination、identity mismatch 和 preregistration breach 使用此路径；
  • required stage 的 failed|aborted 使 dependent requirements 为 fail，claim 为 insufficient_evidence，reason 分别为 stage_failed|stage_aborted；
  • insufficient_power 映射为 MEM-CA-003=fail、 claim.status=insufficient_evidence、claim.reason=power；
  • 已 admitted 的 optional stage 也必须枚举，dependent rows 使用 pass|fail|invalid，不得写 N/A；其非安全 fail 只阻塞把该 stage/profile 声明为 required 的 claim，但 invalid 仍使整个 lineage invalid。只有从未 admitted 且 applicability rule 允许省略的 stage 才能 not_applicable。

以上映射不创造新的 Requirement status，也不允许从失败 shard 中挑选部分成功 checks。 StageTerminalOverrideCheck 是 closed discriminated union。terminal_closure 分支用于 failed|aborted|invalid required stage：expected=completed、actual=closure status， 并要求 stage/campaign、signed Admission/Closure/failure receipt refs+digests、registry two-frontier checkpoint、threshold={operator:"==",value:"completed"} 和 decision=fail|invalid。unclosed_at_frontier 分支用于 audit-only invalid root：closure/ failure refs 必须全 null，要求 signed Admission ref/digest、Registry Authority checkpoint、 exact lineage/global frontiers+prefix digests，以及在该 checkpoint 枚举不到 Closure 的 absence-proof ref/digest；expected=completed、actual=unclosed、同一 threshold、 decision=invalid。两分支都由 assembler 唯一生成并替换该 stage 无法产生的正常 metric check set，不得选择 partial checks或伪造 Closure。insufficient_power 使用独立 typed planned_assurance_sufficient check（含 DGP/scenario/power refs 与 threshold={operator:">=",value:0.80}），映射到 MEM-CA-003=fail。这样除合法 N/A 外每行仍有可审计 check，而 crash 不会被误报成正常 科学负结果。

snapshot_report.json 是 MEM-SN-* 的 blocking artifact； ideation_diversity_report.json 关闭 VRM-O05； aa_report.json 是 MEM-CA-001 的 harness-validity blocking artifact； runtime_release_refs.json 只保存 Runtime release manifest/report 的 ref、digest、 required-ID set 和 identity compatibility projection，不复制 Runtime 状态。

requirements_report.json 对 governing design 中每个 VRM-* 和本协议每个 MEM-* 恰好一行：

{
  "requirement_id": "MEM-RT-003",
  "status": "pass",
  "applicability": {
    "minimum_claim_level": "L1",
    "rule_id": "retrieval_offline_v1",
    "required_for_requested_ceiling": true
  },
  "status_provenance": {
    "kind": "release_assembly",
    "release_manifest_digest": "sha256:...",
    "assembler_digest": "sha256:...",
    "validator_digest": "sha256:...",
    "registry_authority_checkpoint_ref": "artifact:registry-checkpoint",
    "registry_authority_checkpoint_digest": "sha256:...",
    "lineage_assembly_frontier": 42,
    "lineage_prefix_digest": "sha256:...",
    "global_exposure_frontier": 108,
    "global_exposure_prefix_digest": "sha256:...",
    "requirements_registry_digest": "sha256:...",
    "claim_matrix_digest": "sha256:...",
    "exact_input_refs": ["artifact:offline-stage-closure"]
  },
  "checks": [
    {
      "name": "precision_at_3",
      "provenance": {
        "kind": "stage",
        "stage": "offline",
        "stage_manifest_digest": "sha256:...",
        "campaign_id": "offline-v1",
        "admission_receipt_ref": "artifact:admission-offline",
        "admission_receipt_digest": "sha256:..."
      },
      "raw_evidence_refs": ["artifact:retrieval-events"],
      "value": 0.91,
      "aggregation": "macro_query_mean",
      "sample_count": 300,
      "per_query_distribution_ref": "artifact:precision-per-query",
      "threshold": {"operator": ">=", "value": 0.85}
    },
    {
      "name": "applicable_family_recall_at_3",
      "provenance": {
        "kind": "stage",
        "stage": "offline",
        "stage_manifest_digest": "sha256:...",
        "campaign_id": "offline-v1",
        "admission_receipt_ref": "artifact:admission-offline",
        "admission_receipt_digest": "sha256:..."
      },
      "raw_evidence_refs": ["artifact:retrieval-events"],
      "value": 0.88,
      "aggregation": "macro_query_mean",
      "sample_count": 300,
      "per_query_distribution_ref": "artifact:recall-per-query",
      "threshold": {"operator": ">=", "value": 0.85}
    }
  ],
  "release_manifest_digest": "sha256:...",
  "corpus_digest": "sha256:...",
  "policy_digests": {
    "distillation": "sha256:...",
    "lifecycle": "sha256:...",
    "snapshot_selection": "sha256:...",
    "retrieval": "sha256:..."
  },
  "raw_evidence_refs": ["artifact:..."],
  "failure_reason": null
}

一个 requirement 可有多个原子 checks[]，全部通过才为 pass。

每一 requirement row 都有上述 status_provenance，且其 kind 固定为 release_assembly，证明最终 status/applicability 是由哪个 root、registry prefix、 assembler/validator 和 exact inputs 计算。它必须 exact pin signed authority checkpoint、 lineage/global 两条 frontier/prefix、requirements registry 与 claim-matrix digests。这样 not_applicable 即使 checks=[] 也有 可验证来源；它不得借用不存在的 stage check provenance。

每个 check 的 provenance 是 closed tagged union：

  • kind=stage：stage、Stage Manifest digest、campaign ID、Admission Receipt ref/digest；
  • kind=release_assembly：release manifest digest、assembler/validator code digests、 exact input refs/digests 和 registry assembly frontier。

MEM-EF-004、MEM-CA-004 等 assembly-owned requirement 在 registry 声明第二种， 不得伪造不存在的 assembly Stage Manifest/campaign。stage-match 规则只用于第一种； 两种都必须有可解析 raw/input refs。

Validator 必须：

  • 从 governing design 和本协议解析 expected ID set，拒绝缺失、重复或未知 requirement ID，并把它与 requirements-v1.yaml 的 62 条逐项 registry join； pass/fail/invalid 拒绝缺 checks、threshold、release_manifest_digest、typed provenance、row-level status_provenance 或 raw refs；not_applicable 必须 checks=[] 且带合法 applicability rule/reason 和 release-assembly status_provenance；stage_terminal_override 的 terminal_closure|unclosed_at_frontier 分支和 planned_assurance_sufficient 只能按上述 mapping 出现，必须替代而非混合 partial normal checks；
  • 只有真正的 binomial/count ratio check 必须有 numerator/denominator；query-macro check 必须有 aggregation=macro_query_mean、sample count、per-query distribution/raw refs，禁止用 pooled numerator/denominator 代替；latency/continuous/paired check 必须有 对应 sample/pair count 和分布/raw refs；
  • read-back 所有 refs 并重算 digest；
  • 检查 report/release/shared/stage manifests、四种 policy/corpus/snapshot identities；kind=stage 的 digest/campaign/admission 必须与 release root 中同名 stage 完全一致，kind=release_assembly 必须匹配 root/code/input set；
  • read-back StageCampaignRegistry 到 root frontier，验证 exact admission/closure set、 preregistration-before-visibility、无 unreported sibling，并对所有 executed offline/selected ideation/A/A/Pilot/confirmatory 与 sealed reserve 执行完整 pairwise contamination matrix；每个不适用维度必须有 signed typed proof；
  • 对 production-ready claim read-back runtime_release_refs.json 的两个 Runtime artifacts，重算 digest，验证 required Runtime requirement rows/status 与 release/git/profile/environment compatibility；
  • 检查同 pair 重复、掉 pair、事后 threshold 和 mixed campaign；
  • 将来源/身份/lineage/exposure/preregistration/contamination breach 传播为总 invalid；
  • 仅在 provenance 完整且 campaign 有效时，科学 endpoint 或 safety/robustness threshold 未满足才传播为 fail；证据缺失/摘要不一致同样是 invalid；
  • 按 requested ceiling、claim kind/profile 和 per-ID applicability 生成连续通过的最大 允许 claim，不接受手写覆盖；architecture_gain_vs_legacy 与 memory_benefit_vs_no_recall 使用不同 required-ID set。

独立 validator 成功完成重算后，必须原子写 immutable、可验签的 acceptance_validation_receipt.json，绑定 release-root digest、排除 receipt 自身的 pre-validation canonical artifact-set manifest 及其中每个 report/envelope digest、 requirements/claim report digest、registry authority 与两个 signed frontiers、validator code/environment digest、validation authority/key epoch、validation timestamp、final status 和最高允许 claim。receipt 必须由 Claim Plan/root 预先 pin 的 validation authority 签名或 由 Registry Authority 按预注册 policy co-sign；assembler 无权生成。缺失、旧 root、 任一 report 后改或签名无效 都表示“尚未验收”，即使 claim_report.json 看起来为 pass。release publication 与 L5 production promotion 必须验证 receipt final_status=pass，且 highest_claim exact-match 要发布的 claim/L5 base；valid-fail/invalid receipt 的存在不授权 promotion。

13. Commands

下面使用一个不可复用的示例 lineage directory。freeze_manifests 总是先把 canonical payload 写入 objects/sha256-<digest>.json，再原子写 immutable receipt；同 receipt path/same bytes 是 exact retry，same path/different bytes fail closed。固定友好路径或 symlink 只能用于人类导航，不能进入 manifest identity。

MEM_LINEAGE_ID=lineage-example-l3
MEM_MANIFEST_ROOT=benchmark/memory/manifests/v1/lineages/$MEM_LINEAGE_ID
MEM_STAGE_ROOT=benchmark/results/memory/_lineages/$MEM_LINEAGE_ID
MEM_RELEASE_ROOT=benchmark/results/memory/releases
MEM_REGISTRY_TRUST=benchmark/memory/registry-authority-v1.json

13.0 Pre-visibility claim, partition, shared, and stage freeze

python -m benchmark.memory.select_retrieval_adapter \
  --development-corpus benchmark/memory/corpus/v1/development \
  --candidate-catalog benchmark/memory/preregistration/v1/retrieval-candidates.yaml \
  --selection-rule benchmark/memory/preregistration/v1/retrieval-selection-rule.yaml \
  --object-store benchmark/memory/manifests/v1/objects \
  --receipt $MEM_MANIFEST_ROOT/retrieval-adapter-selection.json

python -m benchmark.memory.freeze_manifests claim-plan \
  --release-lineage-id $MEM_LINEAGE_ID \
  --scientific-target-ceiling L3 \
  --primary-claim-kind architecture_gain_vs_legacy \
  --primary-baseline C2_legacy_budget_matched \
  --secondary-claim-kind memory_benefit_vs_no_recall \
  --secondary-baseline C0_no_experiential_recall \
  --transfer-scope held_out_evaluation_task \
  --family-plan benchmark/memory/preregistration/v1/families.yaml \
  --scientific-decision-contract benchmark/memory/preregistration/v1/decision-contract.yaml \
  --requirements-registry benchmark/memory/requirements-v1.yaml \
  --registry-trust-anchor $MEM_REGISTRY_TRUST \
  --retrieval-adapter-selection-receipt $MEM_MANIFEST_ROOT/retrieval-adapter-selection.json \
  --selected-profile intervention \
  --object-store benchmark/memory/manifests/v1/objects \
  --receipt $MEM_MANIFEST_ROOT/claim-plan.json

python -m benchmark.memory.freeze_manifests partition \
  --claim-plan-receipt $MEM_MANIFEST_ROOT/claim-plan.json \
  --hidden-manifest benchmark/memory/corpus/v1/hidden-manifest.json \
  --registry-trust-anchor $MEM_REGISTRY_TRUST \
  --object-store benchmark/memory/manifests/v1/objects \
  --receipt $MEM_MANIFEST_ROOT/partition.json

python -m benchmark.memory.freeze_manifests shared \
  --claim-plan-receipt $MEM_MANIFEST_ROOT/claim-plan.json \
  --partition-receipt $MEM_MANIFEST_ROOT/partition.json \
  --task-sensitivity-manifest benchmark/sensitivity/v1/manifest.json \
  --task-sensitivity-report benchmark/sensitivity/v1/report.json \
  --retrieval-adapter-selection-receipt $MEM_MANIFEST_ROOT/retrieval-adapter-selection.json \
  --object-store benchmark/memory/manifests/v1/objects \
  --receipt $MEM_MANIFEST_ROOT/shared.json

python -m benchmark.memory.freeze_manifests stage \
  --stage offline \
  --shared-receipt $MEM_MANIFEST_ROOT/shared.json \
  --template benchmark/memory/preregistration/v1/offline.yaml \
  --object-store benchmark/memory/manifests/v1/objects \
  --receipt $MEM_MANIFEST_ROOT/stages/offline.json

python -m benchmark.memory.freeze_manifests stage \
  --stage aa \
  --shared-receipt $MEM_MANIFEST_ROOT/shared.json \
  --template benchmark/memory/preregistration/v1/aa.yaml \
  --object-store benchmark/memory/manifests/v1/objects \
  --receipt $MEM_MANIFEST_ROOT/stages/aa.json

python -m benchmark.memory.freeze_manifests stage \
  --stage pilot \
  --shared-receipt $MEM_MANIFEST_ROOT/shared.json \
  --template benchmark/memory/preregistration/v1/pilot.yaml \
  --object-store benchmark/memory/manifests/v1/objects \
  --receipt $MEM_MANIFEST_ROOT/stages/pilot.json

RetrievalAdapterSelectionReceipt 的唯一 owner 是 development-only RetrievalAdapterDevelopmentSelector。receipt 绑定 visible development corpus、candidate catalog、selection rule、全部 candidate diagnostic refs、chosen Adapter/policy、selector code/environment refs+digests；不得含任何 hidden member/result。same path/same bytes 是 exact retry，different bytes fail closed。Claim Plan 与 Shared Manifest 必须逐字节 read-back 同一 receipt 后才可冻结，所有 Stage Manifest 只继承该唯一选择；缺失或 hidden visibility 先于 receipt 都是 invalid。

若 claim plan 选择 ideation profile，必须在同一 pre-visibility step 冻结 ideation Stage receipt；未选择则不得 admission。partition 子命令由独立 HiddenPartitionAuthority 执行并输出 PartitionNonOverlapReceipt；普通 actor 权限不能 读取 evaluator-only members。所有 receipt 都必须 read-back 后 runner 才可申请 Admission/visibility token。

13.1 Offline

python -m benchmark.memory.run_offline_acceptance \
  --campaign-registry benchmark/memory/campaign-registry-v1.sqlite \
  --registry-trust-anchor $MEM_REGISTRY_TRUST \
  --shared-manifest-receipt $MEM_MANIFEST_ROOT/shared.json \
  --stage-manifest-receipt $MEM_MANIFEST_ROOT/stages/offline.json \
  --distillation-policy benchmark/memory/policies/distillation-v1.yaml \
  --lifecycle-policy benchmark/memory/policies/lifecycle-v1.yaml \
  --snapshot-selection-policy benchmark/memory/policies/snapshot-selection-v1.yaml \
  --retrieval-policy benchmark/memory/policies/retrieval-v1.yaml \
  --output $MEM_STAGE_ROOT/offline/offline-v1

13.2 A/A and optional ideation

python -m benchmark.memory.run_causal_acceptance \
  --campaign-registry benchmark/memory/campaign-registry-v1.sqlite \
  --registry-trust-anchor $MEM_REGISTRY_TRUST \
  --shared-manifest-receipt $MEM_MANIFEST_ROOT/shared.json \
  --stage-manifest-receipt $MEM_MANIFEST_ROOT/stages/aa.json \
  --output $MEM_STAGE_ROOT/aa/aa-v1

本例 claim plan 只选择 intervention，所以不得运行 ideation。另一个明确选择 ideation profile 的 lineage 必须在 §13.0 同时冻结 ideation.yaml Stage receipt，之后才可用 run_ideation_acceptance；不能借用本例的 shared/claim-plan receipt。

13.3 Pilot

python -m benchmark.memory.run_causal_acceptance \
  --campaign-registry benchmark/memory/campaign-registry-v1.sqlite \
  --registry-trust-anchor $MEM_REGISTRY_TRUST \
  --shared-manifest-receipt $MEM_MANIFEST_ROOT/shared.json \
  --stage-manifest-receipt $MEM_MANIFEST_ROOT/stages/pilot.json \
  --task-sensitivity-manifest benchmark/sensitivity/v1/manifest.json \
  --task-sensitivity-report benchmark/sensitivity/v1/report.json \
  --output $MEM_STAGE_ROOT/pilot/pilot-v1

python -m benchmark.memory.validate_pilot_gate \
  --campaign-registry benchmark/memory/campaign-registry-v1.sqlite \
  --shared-manifest-receipt $MEM_MANIFEST_ROOT/shared.json \
  --offline-stage-root $MEM_STAGE_ROOT/offline/offline-v1 \
  --aa-stage-root $MEM_STAGE_ROOT/aa/aa-v1 \
  --pilot-stage-root $MEM_STAGE_ROOT/pilot/pilot-v1 \
  --task-sensitivity-report benchmark/sensitivity/v1/report.json \
  --registry-trust-anchor $MEM_REGISTRY_TRUST \
  --object-store benchmark/memory/manifests/v1/objects \
  --receipt $MEM_MANIFEST_ROOT/pilot-gate.json

PilotGateReceipt 由独立 validator 生成，绑定 A/A/Pilot Closure Receipts、sensitivity/ partition/exposure/raw report refs、validator code digest 和适用 requirement/check status； 它必须从 signed registry frontier 枚举并绑定 offline、selected ideation（若有）、A/A、 Pilot 的 exact Admission/Closure Receipts，重算 all-stage partition matrix，并列出目标 L2 ceiling 的全部适用 L0–L2 PilotPrerequisiteAssessment projections，明确排除最终 MEM-CA-003 row。该 projection 只含 requirement ID、preassembly decision、exact stage/registry/raw-check refs+digests、Claim Plan/shared identity；明确排除尚不存在的 release root、正式 RequirementCheck.status_provenance 和最终 requirement-row digest。 receipt 内直接绑定并重算 CA003 的 sensitivity_gate_pass,sensitivity_lineage_isolation,power_plan_valid 三项 pre-gate checks， 其中 joint assurance 是 power_plan_valid 的组成而非第四个漂移 key。root 创建后， assembler 才用这些 assessments + root + Gate receipt 生成正式 62-row requirements report。

Gate validation 一旦在固定 operation/receipt identity 下完成，就必须签发 terminal receipt，closed gate_status=pass|fail|invalid。required scientific/safety check 未通过、 insufficient_power|stage_failed|aborted 映射为 fail + typed reason/check；lineage、签名、 contamination、frontier、unclosed sibling 或 artifact closure 不完整映射为 invalid。 exact retry 返回同 receipt；same operation/different bytes fail closed。只有 validator operational error（exit 70）可以没有 receipt。causal runner 不能自签该 receipt，且只有 gate_status=pass 能冻结 confirmatory/L3+。

13.4 Confirmatory

python -m benchmark.memory.freeze_manifests confirmatory \
  --campaign-registry benchmark/memory/campaign-registry-v1.sqlite \
  --registry-trust-anchor $MEM_REGISTRY_TRUST \
  --shared-manifest-receipt $MEM_MANIFEST_ROOT/shared.json \
  --pilot-stage-manifest-receipt $MEM_MANIFEST_ROOT/stages/pilot.json \
  --pilot-power $MEM_STAGE_ROOT/pilot/pilot-v1/power_analysis.json \
  --pilot-gate-receipt $MEM_MANIFEST_ROOT/pilot-gate.json \
  --template benchmark/memory/preregistration/v1/confirmatory.yaml \
  --object-store benchmark/memory/manifests/v1/objects \
  --selection-receipt $MEM_MANIFEST_ROOT/confirmatory-selection.json \
  --receipt $MEM_MANIFEST_ROOT/stages/confirmatory.json

python -m benchmark.memory.run_causal_acceptance \
  --campaign-registry benchmark/memory/campaign-registry-v1.sqlite \
  --registry-trust-anchor $MEM_REGISTRY_TRUST \
  --shared-manifest-receipt $MEM_MANIFEST_ROOT/shared.json \
  --stage-manifest-receipt $MEM_MANIFEST_ROOT/stages/confirmatory.json \
  --output $MEM_STAGE_ROOT/confirmatory/confirmatory-v1

Confirmatory freezer 必须从 registry read-back Pilot 的唯一 status=completed StageCampaignClosureReceipt，并验证 stage/campaign/shared/ claim-plan digest 与 power artifact lineage。它还必须 read-back immutable Pilot gate receipt，要求 gate_status=pass、全部列出的 applicable L0–L2 prerequisite assessments pass， 并特别重算 MEM-CA-003/sensitivity_gate_pass,sensitivity_lineage_isolation, power_plan_valid。其他 terminal status、缺 closure/gate receipt、failed requirement 或 digest mismatch 均拒绝冻结；不能只相信一个可替换的 power_analysis.json 路径。

13.5 Assemble and independent validation

# L1 root: only the completed offline stage is required.
python -m benchmark.memory.freeze_manifests release \
  --requested-claim-ceiling L1 \
  --claim-kind offline_quality \
  --baseline frozen_gold_corpus \
  --shared-manifest-receipt $MEM_MANIFEST_ROOT/shared.json \
  --campaign-registry benchmark/memory/campaign-registry-v1.sqlite \
  --registry-trust-anchor $MEM_REGISTRY_TRUST \
  --stage offline=$MEM_MANIFEST_ROOT/stages/offline.json \
  --object-store benchmark/memory/manifests/v1/objects \
  --receipt $MEM_MANIFEST_ROOT/roots/release-l1-offline-quality.json

# L2 root: confirmatory is explicitly not required.
python -m benchmark.memory.freeze_manifests release \
  --requested-claim-ceiling L2 \
  --claim-kind pilot_evidence \
  --baseline preregistered_pilot_controls \
  --shared-manifest-receipt $MEM_MANIFEST_ROOT/shared.json \
  --campaign-registry benchmark/memory/campaign-registry-v1.sqlite \
  --registry-trust-anchor $MEM_REGISTRY_TRUST \
  --stage offline=$MEM_MANIFEST_ROOT/stages/offline.json \
  --stage aa=$MEM_MANIFEST_ROOT/stages/aa.json \
  --stage pilot=$MEM_MANIFEST_ROOT/stages/pilot.json \
  --pilot-gate-receipt $MEM_MANIFEST_ROOT/pilot-gate.json \
  --object-store benchmark/memory/manifests/v1/objects \
  --receipt $MEM_MANIFEST_ROOT/roots/release-l2-pilot-evidence.json

# Example L3 architecture-vs-legacy root, frozen only after confirmatory closure.
python -m benchmark.memory.freeze_manifests release \
  --requested-claim-ceiling L3 \
  --claim-kind architecture_gain_vs_legacy \
  --baseline C2_legacy_budget_matched \
  --shared-manifest-receipt $MEM_MANIFEST_ROOT/shared.json \
  --campaign-registry benchmark/memory/campaign-registry-v1.sqlite \
  --registry-trust-anchor $MEM_REGISTRY_TRUST \
  --stage offline=$MEM_MANIFEST_ROOT/stages/offline.json \
  --stage aa=$MEM_MANIFEST_ROOT/stages/aa.json \
  --stage pilot=$MEM_MANIFEST_ROOT/stages/pilot.json \
  --stage confirmatory=$MEM_MANIFEST_ROOT/stages/confirmatory.json \
  --pilot-gate-receipt $MEM_MANIFEST_ROOT/pilot-gate.json \
  --confirmatory-selection-receipt $MEM_MANIFEST_ROOT/confirmatory-selection.json \
  --object-store benchmark/memory/manifests/v1/objects \
  --receipt $MEM_MANIFEST_ROOT/roots/release-l3-architecture-gain-vs-legacy.json

python -m benchmark.memory.assemble_acceptance \
  --manifest-receipt $MEM_MANIFEST_ROOT/roots/release-l3-architecture-gain-vs-legacy.json \
  --campaign-registry benchmark/memory/campaign-registry-v1.sqlite \
  --registry-trust-anchor $MEM_REGISTRY_TRUST \
  --stage-root $MEM_STAGE_ROOT \
  --release-output $MEM_RELEASE_ROOT/release-example-l3

python -m benchmark.memory.validate_acceptance \
  --results $MEM_RELEASE_ROOT/release-example-l3 \
  --registry-trust-anchor $MEM_REGISTRY_TRUST \
  --receipt $MEM_RELEASE_ROOT/release-example-l3/acceptance_validation_receipt.json

L4 改用 ceiling L4 和 multi-family Stage Manifest。L5 只有在 Runtime release manifest/ requirements report 已生成后，才以 --requested-claim-ceiling L5、 --production-base-level L3|L4、--runtime-release-ref ...、 --runtime-report-ref ... 和 --supersedes-root-digest ... 创建新的 immutable root。 --stage 参数只声明该 ceiling/claim kind 的 required stage；freezer 还必须从 registry frontier 自动纳入同 lineage 的全部 admitted sibling，并在 root 中标记 required、 optional 或 typed failure，不能靠省略参数隐藏已执行的 ideation/failed/invalid stage。 Assembler 只读取 root 注册的 exact set；不得固定要求五个 stage 或从目录中自行挑选 成功 shard。

L2 release freezer 接受 signed terminal PilotGate receipt 的 pass|fail|invalid 三种状态 并照常创建可审计 root；fail root 不支持 requested L2，但 validator 仍按 requirements 连续前缀把 highest_claim 重算为 L1、L0 或 none；invalid root 才强制 claim=none。 最终 MEM-CA-003 row 分别为 fail/invalid。若 receipt 记录 unclosed sibling，则使用上文 audit-only invalid root 绑定 exact admission set/frontier。只有 pass receipt 能被 L3/L4 confirmatory freezer 接受。

命令必须非交互、支持 clean temp root，并保留 invalid/no-op/timeout 的 raw event。 exit code 是闭合 transport contract：runner 在 durable completed Closure 已写出时返回 0（不论科学 checks pass/fail）；20=invalid、21=insufficient_power、22=failed、 23=aborted，这些也必须先写 Closure/shard，orchestrator 随后仍须 assemble；70 仅表示 pre-admission/transport failure且无合法 campaign closure。validator 返回 0=accepted pass、10=valid scientific fail/insufficient evidence、20=invalid、70=validator operational error，并在 0/10/20 都写 final validation receipt。调用方不得把科学负结果改标 stage failed，或因非零跳过 assembly。正式 report 的 validator 进程不能复用 actor 的 mutable state。 每个 run_* 命令必须先通过传入的 registry 原子 append/read-back Admission Receipt， 再取得 hidden-data visibility token；退出前无论成功与否都 append Closure Receipt。 测试模式跳过 registry 或先读 hidden corpus 必须 fail closed。

14. Gate sequence and release decision

G0  manifest/schema/corpus freeze
 -> G1 Snapshot and lineage
 -> G2 Writer
 -> G3 Retrieval and abstention
 -> G4 Utilization/action fidelity
 -> G5 Offline Robustness/security/scale (`MEM-RB-001..003`)
 -> G5a A/A equivalence and harness lineage
 -> G6 task sensitivity + manipulation Pilot
 -> G7 power and preregistration
 -> G8 confirmatory paired ITT + causal negative transfer (`MEM-RB-004`)
 -> G9 Durable Runtime production prerequisites
 -> claim validator
  • G0–G5 是 L1 offline quality；
  • G6–G7 是 L2；
  • G8 决定 L3/L4；
  • G9 决定 L5，不阻塞前面的 memory mechanism 研究；
  • 任一 safety、contamination、lineage 或 dropped-pair failure 不能被 waiver 为正 claim；
  • threshold 调整必须产生新协议版本，并在新 hidden corpus/campaign 重新验收。

15. 与历史 VQ 协议的关系

V2 one-layer VQ 协议保留为机制历史和 calibration fixture，其中 5 seeds、 max_recall_items=8、max_recall_tokens=3000、删除 invalid pair 等设定不适用于本协议 下的确认性试验。

V3 Phase A 的 claim_valid=false 是正确边界：它证明 citation 到 Intervention 和 Trial Provenance 的 plumbing，但没有证明 writer、retrieval、utilization 或 outcome gain。本协议的 MEM-TR-001 和 MEM-UT-* 在该机制上继续收紧验收。

Next-round plan 的 sensitivity、Pilot 和 power 顺序继续有效；如果其中的样本数、 budget、drop rule 或 threshold 与本协议冲突，以本协议和本次冻结的 Evaluation Contract/manifest 为准。

16. 研究依据与项目判断

本协议借鉴公开工作的能力分解，而阈值是 AI-Researcher 的初始工程门槛，不是论文 作者声称的普适常数：

  • LongMemEval 将长期记忆问题拆成 indexing、 retrieval、reading，并覆盖时间、更新和 abstention；
  • MemoryAgentBench 覆盖检索、测试时学习、长程 理解和冲突处理；
  • PaperBench 和 RE-Bench 提供真实科研任务与长时 间 horizon 的 outcome 设计参考。

由这些工作推导出的项目判断是：public memory benchmark 适合定位 writer/retriever/ reader 的局部问题，但只有项目自身隐藏任务上的 paired verified outcome 能支持 “AI Researcher 变得更好”的因果结论。

17. Definition of Done

本验收协议的实现只有在以下内容全部存在且由当前代码生成时完成：

  • manifest、corpus、annotation 和 report schema 内容寻址；
  • 每个 MEM-* requirement 有 runner、raw evidence 和 validator；
  • Writer/Retrieval/Utilization/Robustness/Scale 的最低 corpus 数量与 hard gate 全通过；
  • Knowledge/Evidence/Recall Input Snapshots 的 deterministic、exact membership、 exclusion、read-only、scope-variant head 和 no-hash-cycle gates 通过；
  • DecisionIntent -> RecallInput -> Context? -> Outcome -> action? -> execution? -> verification? 对所有 terminal statuses 100% 可解析；
  • online no-generation、card/token、latency 和完整成本核算通过；
  • Pilot 只用于 manipulation 和 clustered variance/ICC sensitivity/power，不被包装 为 confirmatory gain；
  • 正式 trial 的每个 pair seed 未在 source/A/A/Pilot 中运行过；只有 held_out_evaluation_task claim 还要求 evaluation-task ID 未见且 lineage overlap=0， same_task_new_seed 可复用 task ID 但必须使用新 seed；Snapshot 冻结、配对 ITT、盲评；
  • no-op、invalid、timeout、failure 和 retrieval degradation 一个不丢；
  • power 不足时 claim validator 输出 insufficient_evidence；
  • claim 报告不会超出 L0–L5 证据等级；
  • 62-row requirement registry、closed pass/fail/invalid/N/A applicability、stage-vs- assembly provenance 和最高连续 claim 算法通过 exact-set tests；
  • 每个 executed stage 有 preregistration-before-visibility Admission Receipt 与 terminal Closure Receipt；root pin signed authority checkpoint、lineage/global 两条 frontier， 不遗漏失败/invalid sibling；token/exposure/no-visibility crash/race matrix 通过；
  • ScientificClaimPlan 在任何 hidden visibility 前冻结 endpoints/margins/decision rules、 requirement/claim-matrix digests 和 deterministic reserve selection；L2+ root 绑定 independent terminal PilotGateReceipt，receipt 覆盖全部适用 pre-root L0–L2 prerequisite assessments（排除 final CA003/root provenance），assembler 再生成正式 rows；
  • L4 overall 使用预注册 normalized family utility/weights，三臂 contrast 使用 fixed-sequence gatekeeping；
  • independent validator 产出的 signed acceptance_validation_receipt.json 可回读且绑定 root 与每个 report；production claim 同时解析通过的 Durable Runtime artifacts；
  • 历史 V2/V3 artifacts 不被当前 main 的 release report 冒用。