Skip to content

Commit 1f461d2

Browse files
committed
docs(eval): preserve student baseline evidence
1 parent 8c2baf7 commit 1f461d2

5 files changed

Lines changed: 20787 additions & 0 deletions

File tree

‎docs/ceiling_anatomy.md‎

Lines changed: 6 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -208,6 +208,12 @@ self-consistency, сужение схемы, межмодельное голос
208208
| База (без дообучения) | 50.0% | 12 | 30 | −18 |
209209
| После дообучения | 53.0% | 12 | 28 | −16 |
210210

211+
Исходные отчёты: [`student-base`](../eval/reports/2026-07-22/E_dense_fewshot_repair-student-base.json)
212+
(n=200, EA=50.0%), [`student-tuned`](../eval/reports/2026-07-21/E_dense_fewshot_repair-student-tuned.json)
213+
(n=200, EA=53.0%); рескоры:
214+
[`student-base`](../eval/reports/arcwise_rescored_student-base.json) и
215+
[`student-tuned`](../eval/reports/arcwise_rescored_student-tuned.json).
216+
211217
Парное сравнение на 199 вопросах, отвеченных обеими версиями: **50.3% → 53.3%, +3.0 п.п.**,
212218
починено 25 / сломано 19, точный критерий Макнемара **p = 0.451**. То есть дообучение
213219
не дало статистически значимого выигрыша даже над собственной базой, а до продуктовых

0 commit comments

Comments
 (0)