SERVICE-AUDIO-TRANSCRIBING

---

Оглавление

1. Назначение
2. Функциональность
3. Технологии
4. Конфигурация
5. Локальная разработка
6. Развертывание
7. Лицензия

Назначение

Микросервис транскрибинга аудиофайлов предназначен для экстракции фонетической записи речи, записанной в адуифайле, в строковый формат.

Входной аудиофайл должен имееть следующие характеристики:

• Формат .wav;
• Мноноканальность;
• Частота дискретизации 16000 Hz;
• Кодировка 16 бит.

Функциональность

• Поддержка нескольких нейросетевых моделей для разных языков;
• Транскрибирование аудиофайлов на основе нейронной сети.

Технологии

• Язык программирования: Python
• Фреймворк: FastAPI
• Протоколы: HTTP

Конфигурация

Микросервис настраивается с помощью переменных окружения в конфигурационном файле .env. По умолчанию .env не содержится в репозитории, данный файл необходимо создать самому:

touch .env

Если вы используете VSCode, не забудьте перезагрузить окно проекта, чтобы применить изменения в .env к вашему окружению.
Или используйте следующую команду:

export $(cat .env)

Пример того, как можно заполнить файл .env, содержится в файле .env.example.

Ниже приведены таблицы, содержащие описание основных параметров, которые необходимо настроить для работы сервиса.

Настройки общего характера

Переменная	Значимость	Описание	Тип данных	Стандартное значение
TRANSCRIBING_DEBUG_MODE	Опционально	Флаг запуска микросервиса в режиме отладки.	BOOL	True
TRANSCRIBING_SERVICE_NAME	Опционально	Имя микросервиса. Рекомендуется вообще не трогать.	STRING	ilps-service-sound-transcribing

Настройки языковых моделей

Так как сервис использует нейронные сети для экстракции фонетических записей речи, необходимо дать сервису информацию, где и для какого языка брать исходные файлы модели. Для этого можно настроить следующий шаблонный список переменных:

Переменная	Значимость	Описание	Тип данных	Стандартное значение
TRANSCRIBING_MODEL_{lang_name}_LANG	Обязательно	Язык, на котором работает модель.	STRING
TRANSCRIBING_MODEL_{lang_name}_GDRIVE_URL	Обязательно	Ссылка на папку google drive, где содержатся файлы модели torch.	STRING

Где {lang_name} - это шаблон, вместо котого необходимо вставить название языка, на котором работает модель. К примеру:

• ENGLISH - Английский язык;
• RUSSIAN - Русский язык.

Important

В файле .env.example указана невалидная ссылка на директорию google drive с исходными файлами модели. Модель в данном случае является секретом, который мы не хотим раскрывать.

Настройка Espeak-NG

Языковые модели используют библиотеку Espeak-NG. Чтобы у них был доступ к ней, необходимо опеределить следующие переменные:

Переменная	Значимость	Описание	Тип данных	Стандартное значение
PHONEMIZER_ESPEAK_LIBRARY	Опционально	Путь в системе до бинарного файла библиотеки.	STRING
PHONEMIZER_ESPEAK_PATH	Опционально	Путь в системе до директории, в который находится бинарный файл библиотеки.	STRING

Warning

Настройка данных переменных необходима только для локальной разработки. При развертывании сервиса в production-среде библиотека Espeak-NG автоматически установится, а необходимые переменные автоматически определятся при сборке Docker образа. Примеры значений переменных приведены в .env.example, но он может отличаться в зависимости от типа или дистрибутива ОС.

Установка Espeak-NG

Чтобы установить библиотеку и определить ее местоположение, следуйте инструкции ниже.

Для Linux:

sudo pacman -S espeak-ng # Или любой другой пакетный менеджер

sudo find / -name "libespeak-ng.so.1" 2>/dev/null

Для Windows:

# 1. Установка Chocolatey (популярный пакетный менеджер для Windows)
# Если Chocolatey не установлен, выполните следующую команду в PowerShell от имени администратора:
Set-ExecutionPolicy Bypass -Scope Process -Force; [System.Net.ServicePointManager]::SecurityProtocol = [System.Net.ServicePointManager]::SecurityProtocol -bor 3072; iex ((New-Object System.Net.WebClient).DownloadString('https://community.chocolatey.org/install.ps1'))

# 2. Установка espeak-ng через Chocolatey
choco install espeak-ng -y

# 3. Поиск файла libespeak-ng.dll (аналог libespeak-ng.so.1 на Windows)
$libPath = Get-ChildItem -Path C:\ -Filter "libespeak-ng.dll" -Recurse -ErrorAction SilentlyContinue | Select-Object -First 1 -ExpandProperty FullName

# 4. Вывод пути до библиотеки
echo $libPath

Настройки Graylog

Сервис поддерживает отправку логов в Graylog, если эта функция включена при помощи специальной переменной среды.

Переменная	Значимость	Описание	Тип данных	Стандартное значение
TRANSCRIBING_GRAYLOG_ENABLE	Опционально	Флаг отправки логов в Graylog.	BOOL	False
TRANSCRIBING_GRAYLOG_HOST	Опционально	Адрес развернутого Graylog. Может быть заглушкой.	STRING	localhost
TRANSCRIBING_GRAYLOG_PORT	Опционально	Порт развернутого Graylog. Может быть заглушкой.	STRING	12201

Локальная разработка

Для удобства локальной разработки микросервиса следуйте этим рекомендациям.

Установка зависимостей

Перед началом работы убедитесь, что все зависимости установлены. Или установите, если предыдущее условие ложно.
При разработке сервиса используется менеджер зависимостей Poetry.

pip install poetry

poetry config virtualenvs.in-project true
poetry install --no-root

Далее выберете виртуальную среду Poetry как основную для проекта.

Переменные окружения

Создайте файл .env и сконфигурируйте переменные огружения, согласно главе конфигурация.
В контексте локальной разработки необходимо задать только обязательные переменные среды. Опциональную переменную TRANSCRIBING_DEBUG_MODE рекомендуется перевести в значение True.

Запуск

Теперь все готово к запуску!

python start.py

Развертывание

Для развертывания микросервиса в production-среде следуйте инструкциям, описанным в этом репозитории.
Сервис аутентификации в инфраструктуре ILPS будет развернут автоматически посредством docker-compose.

Процессы установки зависимостей и применения миграций автоматизированны при сборке Docker контейнера.

Лицензия

Этот проект распространяется под лицензией GNU General Public License v3.0 (GPL-3.0).