opencaselaw/reply_schlatter.txt at main · jonashertner/opencaselaw · GitHub

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
Betreff: Re: Antwortzeiten MCP-Server (Ursache gefunden und behoben)

Sehr geehrter Herr Schlatter

herzlichen Dank für Ihre sorgfältige Analyse und ganz besonders für die Colab-Messungen. Solche reproduzierbaren Tests sind Gold wert; sie haben mir geholfen, die Ursache zweifelsfrei einzugrenzen. Und ich darf Ihnen vorab sagen: Ihre Vermutung war goldrichtig. Das Problem lag serverseitig, nicht bei Ihrem Setup.

Zur Ursache: Dass list_tools praktisch sofort antwortet, list_courts und get_law aber 10-12 Minuten brauchten, weist genau auf die Tool-Dispatch-Ebene des Servers hin. Die eigentliche Datenbankabfrage dauert weniger als zwei Sekunden; die übrige Zeit war reine Warteschlange. Die rechenintensiven Such-Tools hatten unter Last den Thread-Pool der Worker blockiert, sodass einfache Tools dahinter anstehen mussten. Verschärft wurde das durch einen Vorfall genau in Ihrem Testzeitraum: eine vorübergehende Aufblähung der Datenbank, die die Worker zusätzlich überlastet hat.

Was sich seither geändert hat:

1. Der Vorfall ist behoben. Ein sauberer, vollständiger Neuaufbau der Datenbank ist seit heute live; die einfachen Tools antworten wieder im Sekundenbereich.

2. Ein Dispatch-Timeout ist ausgerollt. Ein Aufruf kann jetzt nicht mehr unbegrenzt hängen, sondern bricht sauber und schnell ab, falls der Server doch einmal überlastet ist. Sie erhalten dann eine klare Rückmeldung zum erneuten Versuch statt einer minutenlangen Blockade.

Mittelfristig stelle ich die LLM-Aufrufe der Such-Tools auf asynchrone Verarbeitung um und ergänze Caching, damit schwere Anfragen die leichten gar nicht erst ausbremsen können.

Dürfte ich Sie bitten, Ihre Tests bei Gelegenheit noch einmal laufen zu lassen? Die Zeiten sollten nun wieder dort sein, wo sie hingehören. Sollten Ihnen weiterhin Auffälligkeiten begegnen, melden Sie sich jederzeit; ich gehe dem dann gerne gezielt nach.

Nochmals besten Dank für Ihre Mithilfe und die Geduld. Rückmeldungen wie Ihre machen das Projekt für alle besser.

Mit freundlichen Grüssen
Jonas Hertner