Repository navigation
Commit 4fda44f
committed
STT: WER-бенч работает, метрика не врёт на коротких клипах
Бенч был записан как невозможный: «эталонных транскриптов в репозитории нет».
Корпус лежит рядом, вне репозитория: C:\Projects\MyFLOW\data\eval_wispr
(phrases.jsonl + 624 wav), и tools/stt-accuracy.ps1 гоняет его на устройстве
через SttBenchReceiver -> logcat.
Прогон на 7 клипах (1,3-10,8 с), одинаковые id у обоих движков: whisper small
mean 10,47 %, corpus 13,85 % (9 правок / 65 слов); parakeet corpus 9,52 %
(6 / 63), но два односложных клипа не дали результата вовсе.
Средний WER по клипам - плохая метрика на таком наборе: «Продолжай.» ->
«Продолжи.» даёт 100 % за одну букву и тянет среднее сильнее длинной фразы с
той же ошибкой. Wer разделён на WerCounts (правки и слова эталона) и Wer
(проценты), отчёт печатает corpus WER и число клипов <=2 слов.
Сравнивать движки по этим числам пока нельзя: у parakeet два клипа пропали,
наборы разные. Это отдельный вопрос, а не вывод «parakeet точнее».1 parent f8eb2e0 commit 4fda44f
3 files changed
Lines changed: 56 additions & 10 deletions
| Original file line number | Diff line number | Diff line change | |
|---|---|---|---|
| |||
630 | 630 | | |
631 | 631 | | |
632 | 632 | | |
| 633 | + | |
| 634 | + | |
| 635 | + | |
| 636 | + | |
| 637 | + | |
| 638 | + | |
| 639 | + | |
| 640 | + | |
| 641 | + | |
| 642 | + | |
| 643 | + | |
| 644 | + | |
| 645 | + | |
| 646 | + | |
| 647 | + | |
| 648 | + | |
633 | 649 | | |
634 | 650 | | |
635 | 651 | | |
| |||
| Original file line number | Diff line number | Diff line change | |
|---|---|---|---|
| |||
86 | 86 | | |
87 | 87 | | |
88 | 88 | | |
89 | | - | |
90 | | - | |
| 89 | + | |
| 90 | + | |
| 91 | + | |
| 92 | + | |
| 93 | + | |
| 94 | + | |
| 95 | + | |
| 96 | + | |
| 97 | + | |
| 98 | + | |
| 99 | + | |
91 | 100 | | |
92 | 101 | | |
93 | 102 | | |
94 | 103 | | |
95 | 104 | | |
96 | | - | |
97 | | - | |
98 | | - | |
| 105 | + | |
| 106 | + | |
| 107 | + | |
| 108 | + | |
99 | 109 | | |
100 | 110 | | |
101 | | - | |
102 | | - | |
| 111 | + | |
| 112 | + | |
103 | 113 | | |
104 | 114 | | |
105 | 115 | | |
| |||
| Original file line number | Diff line number | Diff line change | |
|---|---|---|---|
| |||
82 | 82 | | |
83 | 83 | | |
84 | 84 | | |
85 | | - | |
| 85 | + | |
86 | 86 | | |
87 | 87 | | |
88 | 88 | | |
| |||
102 | 102 | | |
103 | 103 | | |
104 | 104 | | |
105 | | - | |
106 | | - | |
| 105 | + | |
| 106 | + | |
| 107 | + | |
| 108 | + | |
| 109 | + | |
| 110 | + | |
| 111 | + | |
107 | 112 | | |
108 | 113 | | |
109 | 114 | | |
| |||
142 | 147 | | |
143 | 148 | | |
144 | 149 | | |
| 150 | + | |
| 151 | + | |
| 152 | + | |
| 153 | + | |
145 | 154 | | |
146 | 155 | | |
| 156 | + | |
147 | 157 | | |
148 | 158 | | |
149 | 159 | | |
| |||
165 | 175 | | |
166 | 176 | | |
167 | 177 | | |
| 178 | + | |
| 179 | + | |
| 180 | + | |
| 181 | + | |
| 182 | + | |
| 183 | + | |
| 184 | + | |
| 185 | + | |
168 | 186 | | |
| 187 | + | |
169 | 188 | | |
170 | 189 | | |
171 | 190 | | |
| |||
176 | 195 | | |
177 | 196 | | |
178 | 197 | | |
| 198 | + | |
179 | 199 | | |
0 commit comments