Skip to content

[case] domux-clarify-commit:3/3 次 HA 精确变更,1/1 次状态漂移提前拒绝 - #26

Open
MittaPei wants to merge 21 commits into
iflytek:mainfrom
MittaPei:case/domux-clarify-commit
Open

[case] domux-clarify-commit:3/3 次 HA 精确变更,1/1 次状态漂移提前拒绝#26
MittaPei wants to merge 21 commits into
iflytek:mainfrom
MittaPei:case/domux-clarify-commit

Conversation

@MittaPei

Copy link
Copy Markdown

概要

本案例评估一条“有歧义先澄清、确认后再提交”的 Domux 设备执行边界,并将 4 条
已记录的模型输出接入真实 Home Assistant REST 状态变更。

  • 固定模型 revision:6c71a32f4d624cadfd9fce9d10240d8068e53456
  • 正式配对评测:48 个 base / 96 次 BF16 推理 / 0 次失败或选择性重跑
  • 语言侧结果:clear specificity 48/48、ambiguity sensitivity 47/48、
    candidate coverage 44/48
  • 原始 guarded v1:42/48,质量门 FAIL;最终参考实现没有重命名或覆盖该结果
  • 固定 Home Assistant 2026.8.3:3/3 次精确提交,1/1 次真实状态漂移在
    dispatch 前拒绝

公开案例

仓库 README 的 channels 仅包含同一个公开地址。

证据与验证

  • 完整 BF16 snapshot:13 个文件 / 10,279,032,574 bytes
  • 运行环境:transformers 5.15.0、torch 2.10.0+cu128、单卡 A800 80GB
  • 提交中包含模型原始输出、模型元数据、评测报告和真实 HA JSON 日志,不包含权重
  • HA artifact:schema 4,SHA-256
    aa5a70e5d19a0cd90fd673e3f19224231da086dff766ee05aaead8141a6017f0
  • HA 调用分账:5 次 setup + 3 次 SUT + 1 次 fault injection = 9
  • 159/159 项核心测试、Ruff、语法编译和 diff 检查均通过

HA 子集的澄清答案来自冻结的合成 scenario gold,确认后没有再次调用模型;4 个 HA
实体只是语义映射子集。因此,本案例不声称是不间断的 live model-to-HA 全链路,也
不声称通过了生产安全认证。

案例只使用合成的 Light、Curtain 和 AC 数据,排除了高风险设备;不包含 token、
cookie、私有 endpoint、个人缓存路径、真实家庭数据或模型权重。合成数据及 Data
Card 采用 CC BY 4.0,案例代码沿用仓库许可证。

本案例使用 AI 辅助方案讨论、代码审阅、测试和文案校对。MittaPei 已审阅实验过程、
原始输出、失败结论、安全边界与最终投稿内容,并对本次贡献负责。

Ref #20

Signed-off-by: MittaPei <315415437+MittaPei@users.noreply.github.com>
Signed-off-by: MittaPei <315415437+MittaPei@users.noreply.github.com>
Signed-off-by: MittaPei <315415437+MittaPei@users.noreply.github.com>
Signed-off-by: MittaPei <315415437+MittaPei@users.noreply.github.com>
Signed-off-by: MittaPei <315415437+MittaPei@users.noreply.github.com>
Signed-off-by: MittaPei <315415437+MittaPei@users.noreply.github.com>
Signed-off-by: MittaPei <315415437+MittaPei@users.noreply.github.com>
Signed-off-by: MittaPei <315415437+MittaPei@users.noreply.github.com>
Signed-off-by: MittaPei <315415437+MittaPei@users.noreply.github.com>
Signed-off-by: MittaPei <315415437+MittaPei@users.noreply.github.com>
Signed-off-by: MittaPei <315415437+MittaPei@users.noreply.github.com>
Signed-off-by: MittaPei <315415437+MittaPei@users.noreply.github.com>
Signed-off-by: MittaPei <315415437+MittaPei@users.noreply.github.com>
Signed-off-by: MittaPei <315415437+MittaPei@users.noreply.github.com>
Signed-off-by: MittaPei <315415437+MittaPei@users.noreply.github.com>
Signed-off-by: MittaPei <315415437+MittaPei@users.noreply.github.com>
Signed-off-by: MittaPei <315415437+MittaPei@users.noreply.github.com>
Signed-off-by: MittaPei <315415437+MittaPei@users.noreply.github.com>
Signed-off-by: MittaPei <315415437+MittaPei@users.noreply.github.com>
Signed-off-by: MittaPei <315415437+MittaPei@users.noreply.github.com>
Signed-off-by: MittaPei <315415437+MittaPei@users.noreply.github.com>
@CLAassistant

CLAassistant commented Aug 27, 2026

Copy link
Copy Markdown

CLA assistant check
All committers have signed the CLA.

@FenjuFu

FenjuFu commented Aug 29, 2026

Copy link
Copy Markdown
Member

?? #20 ????????? head 5875da6?

????????????????????????????????????????

@FenjuFu

FenjuFu commented Aug 29, 2026

Copy link
Copy Markdown
Member

按 10 条验收逐条核对(评奖前):

  • ① 真实使用 / ④ 可复现:固定 revision 6c71a32f4d624cadfd9fce9d10240d8068e53456,运行环境 transformers 5.15.0 / torch 2.10.0+cu128 / 单卡 A800 80GB,13 文件 BF16 snapshot(未提交权重,符合 ⑨)。
  • ② 真实运行 / ⑤ 指标诚实:48 base / 96 次 BF16 推理 / 0 次选择性重跑;clear specificity 48/48、ambiguity sensitivity 47/48、candidate coverage 44/48;原始 guarded v1 42/48 标注为质量门 FAIL 且未重命名 / 覆盖该结果——诚实。
  • 真实集成:4 条已记录模型输出接入 Home Assistant 2026.8.3 REST 状态变更,3/3 次精确提交、1/1 次真实状态漂移在 dispatch 前拒绝;HA 调用分账 9 次(5 setup + 3 SUT + 1 fault injection)+ SHA-256 artifact。
  • ⑥ 边界诚实:明确不声称不间断 live model-to-HA 全链路、不声称通过生产安全认证,只用合成 Light / Curtain / AC 数据并排除高风险设备。
  • ③ 唯一渠道:HF Discussion chore: Improve project infrastructure with licenses, brand assets, eval docs, and community config #5 已实测公开存在。⑦⑧ 许可 / 隐私:合成数据与 Data Card 采用 CC BY 4.0,未见 token / cookie / 私有端点 / 家庭数据 / 内网地址。⑩ 账号信誉:仅在 iflytek/domux 有活动,通过。

有效案例。小建议:可在 Discussion 正文补一句「4 个 HA 实体为语义映射子集、澄清答案取自冻结的合成 scenario gold」的说明,便于后续用户理解证据边界。

最终评奖将在活动评奖期(8-31 – 9-6)统一公布。

@MittaPei

Copy link
Copy Markdown
Author

收到。这两点已写在 Discussion 的「真实 Home Assistant」部分:4 个 HA 实体是语义映射子集,澄清答案来自冻结的合成 scenario gold;同时也注明这不是完整 inventory,也不是不间断的 live model-to-HA。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

3 participants