Skip to content

Commit e25ea48

Browse files
JuliaEdomclaude
andcommitted
docs(eval): correct two overstated claims in the ceiling anatomy
Self-review of the published numbers caught two that did not survive checking. The wall was described as evenly spread across difficulty tiers ("so these are not just the hard questions"). That compared raw counts across tiers of very different sizes. Normalised, it takes 11.9% of simple (8/67), 16.3% of moderate (16/98) and 23.5% of challenging (8/34) — it grows with difficulty. The point the sentence was making still stands, but for the real reason: a quarter of the wall sits on the simple tier, where the generator otherwise scores 76-88%. The fine-tune section called the training prompt "exactly the production one". The template is, but the schema block is raw DDL at training time and retrieval cards with value samples at eval time — a known gap of this dataset version, now stated instead of glossed. Every other number in the file was re-derived from the raw reports: all 25 table entries, the 105/61/33 split, per-tier accuracy, repair counts, the wall breakdown, and the paired fine-tune verdict. Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
1 parent c8ef8b2 commit e25ea48

1 file changed

Lines changed: 9 additions & 4 deletions

File tree

‎docs/ceiling_anatomy.md‎

Lines changed: 9 additions & 4 deletions
Original file line numberDiff line numberDiff line change
@@ -174,8 +174,12 @@ self-consistency, сужение схемы, межмодельное голос
174174
подозреваемый — не модель.
175175

176176
Разбор формы ответа, на котором модели сошлись: **12 — семантика**, 2 — верная форма при
177-
неверной кардинальности, 1 — недостающая колонка. По сложности стена распределена ровно
178-
(8 simple / 16 moderate / 8 challenging), то есть это не «слишком трудные вопросы».
177+
неверной кардинальности, 1 — недостающая колонка.
178+
179+
По сложности стена растёт, но присутствует везде: она забирает **11.9%** простых вопросов
180+
(8 из 67), **16.3%** средних (16 из 98) и **23.5%** сложных (8 из 34). То есть это не просто
181+
«самые трудные вопросы» — четверть стены стоит на простом тире, где генератор в среднем
182+
даёт 76–88%.
179183

180184
Отдельный класс, найденный при разборе руками, стоит назвать прямо: **бенчмарк местами
181185
противоречит собственной подсказке.** В поле `evidence` лежит готовая формула, а gold-SQL
@@ -195,8 +199,9 @@ self-consistency, сужение схемы, межмодельное голос
195199
## 6. Своя дообученная модель бейслайн не догоняет
196200

197201
Отдельная проверка гипотезы «дообучим свою маленькую модель под эти данные». Qwen2.5-Coder-7B
198-
в 4 битах, QLoRA на train-части BIRD (8468 примеров, промпт — ровно продуктовый),
199-
измерение тем же харнессом.
202+
в 4 битах, QLoRA на train-части BIRD (8468 примеров; шаблон промпта — продуктовый, но
203+
блок схемы при обучении собран из сырого DDL, а на измерении приходит retrieval-карточками
204+
с примерами значений — известный зазор этой версии датасета), измерение тем же харнессом.
200205

201206
| | EA (n=200) | чинит /61 | ломает /105 | net |
202207
|---|---:|---:|---:|---:|

0 commit comments

Comments
 (0)