Parlance-Daten

Minimales Repository zur Verwaltung der Parlance-Wortdaten, die von TOP Assist verwendet werden.

Übersicht

Dieses Repository enthält die Domänenmodelle und Hilfsfunktionen, die für die Pflege des Parlance-Korpus benötigt werden.

Die eigentlichen Daten bestehen aus domänenspezifischen JSON-Dateien mit Einträgen vom Typ ParlanceCorpus.

Die öffentliche Version dieses Repositorys enthält ein pseudonymisiertes Parlance-Korpus. Um keine Rückschlüsse auf die Relevanz einzelner Wörter im Zusammenhang mit Prüfungen zu ermöglichen, wurde der Wert frequency für jeden Eintrag im öffentlichen Datensatz auf 1 gesetzt.

Einrichtung

Das Projekt verwendet uv zur Verwaltung von Abhängigkeiten und der Entwicklungsumgebung.

Installiere die Projektabhängigkeiten mit:

uv sync

Datensatz

Die Parlance-Daten befinden sich im Verzeichnis data des Repositorys.

Jeder Eintrag repräsentiert ein Wort oder eine Wortgruppe zusammen mit den zugehörigen domänenspezifischen Metadaten.

Das zentrale Domänenmodell ist:

ParlanceCorpus

MongoDB-Synchronisierung

Das Repository enthält ein CLI-Tool, mit dem das Parlance-Korpus mit einer MongoDB-Instanz synchronisiert werden kann.

Um die Daten direkt zu synchronisieren, führe folgenden Befehl aus:

uv run scripts/remote_sync/sync_mongo.py

Das Skript akzeptiert die MongoDB-Verbindungsparameter als Kommandozeilenargumente. Zum Beispiel:

uv run scripts/remote_sync/sync_mongo.py \
  --host localhost \
  --port 27017 \
  --user "<username>" \
  --pw "<password>"

Eine vollständige Liste der verfügbaren Optionen erhältst du mit:

uv run scripts/remote_sync/sync_mongo.py --help

Konfiguration

Die MongoDB-Zugangsdaten werden über die Variablen root_user und password bereitgestellt.

Alternativ kann im Stammverzeichnis des Repositorys eine .env-Datei angelegt werden:

root_user=change-me
password=change-me

Wähle für beide Variablen geeignete Werte.

Der Synchronisierungscontainer verbindet sich automatisch über das interne Docker-Netzwerk mit dem MongoDB-Service.

Starten

Baue das Synchronisierungsimage mit:

docker compose up --build

Der Synchronisierungsjob verbindet sich mit MongoDB über:

Host: mongodb
Port: 27017
User: ${root_user}
Password: ${password}

Datenintegrität

Die Tests in diesem Repository überprüfen hauptsächlich, ob die Parlance-Daten weiterhin mit den entsprechenden Domänenmodellen kompatibel sind.

Führe die Testsuite mit folgendem Befehl aus:

uv run pytest

Das Ziel des Repositorys ist bewusst eng gefasst: die Pflege der Parlance-Wortdaten und die Bereitstellung einer zuverlässigen Möglichkeit, diese mit MongoDB zu synchronisieren.