KI-Agenten scheitern im Datenraum: Deal-Arbeit bleibt Menschensache
Im neuen Agenten-Test GDPx des Analysehauses SemiAnalysis, veröffentlicht am 2. November, erreicht das beste Modell 12 Prozent; Finanz- und Rechtsaufgaben löste kein Modell vollständig.
Gemessen in echten Arbeitsumgebungen statt an einzelnen Fragen klafft bei KI-Agenten noch eine große Lücke zwischen Versprechen und Ergebnis. Gerade die Aufgaben, die in Banken und Kanzleien am meisten kosten, schaffte kein Modell ganz.
Was passiert ist
GDPx prüft Agenten in elf Bereichen, darunter Finanzen, Recht, Chipdesign, Biologie, Cybersicherheit und Softwareentwicklung. Anders als frühere Tests, die alle Informationen im Prompt mitliefern, müssen die Modelle in interaktiven Umgebungen arbeiten, mit Zeitlimits von bis zu acht Stunden. Für den Finanzteil baute SemiAnalysis mit dem Partner Living Context einen virtuellen Datenraum aus einer realen Transaktion nach, mit rund 4.000 anonymisierten Dateien und 24 Aufgaben aus Sicht der beteiligten Parteien. Bei strenger Bewertung, also nur vollständig gelöste Aufgaben, erreichten alle Modelle in Finanzen und Recht null Prozent. Bei Teilpunkten kam Claude Opus 5.5 in einer Rechtsaufgabe, dem Prüfen eines Vertragsentwurfs für eine Finanzierungsrunde, im Schnitt auf 44 Prozent, GPT-6 Astra auf 25 Prozent. Insgesamt lag Opus 5.5 bei 12,0 Prozent, Gemini 4 Carbon bei 10,9 und GPT-6 Astra bei 9,6 Prozent. Die Autoren merken an, dass Sicherheitsfilter einige Modelle in Cyber- und Biologieaufgaben bremsten. Einordnung: Der Test ist neu und von Dritten noch nicht nachgeprüft. SemiAnalysis kritisiert zugleich andere Tests; nach eigener Prüfung sei fast die Hälfte der Aufgaben eines bekannten Programmier-Benchmarks fehlerhaft.
Was daraus folgt
Der Befund steht quer zu den Begründungen, mit denen Unternehmen derzeit Stellen streichen. SUSE etwa schreibt, der Bedarf an manchen Rollen sei durch KI stark gesunken. GDPx zeigt dagegen, dass Agenten komplexe Mandatsarbeit nur in Teilen erledigen. Einordnung: Für Banken, Beratungen und Kanzleien heißt das, dass Agenten Teilarbeiten übernehmen können, etwa Dokumente sichten oder Entwürfe markieren, das Ergebnis aber von Menschen geprüft werden muss. Wer Teams nach Werbeversprechen verkleinert, trägt das Risiko unvollständiger Arbeit. Zugleich lagen die Teilpunkte bei Rechtsaufgaben teils schon nahe der Hälfte; der Abstand kann mit der nächsten Modellgeneration schrumpfen.
Was sich konkret ändert
- Banken
- In einem nachgebauten Datenraum einer echten Transaktion löste kein Agent eine Aufgabe vollständig; Due-Diligence-Arbeit braucht weiter menschliche Prüfung.
- Kanzleien
- Beim Prüfen eines Finanzierungsvertrags erreichte das beste Modell im Schnitt 44 Prozent der Punkte, also brauchbare Teilarbeit, kein fertiges Ergebnis.
- Führungskräfte
- Wer Stellen mit KI begründet, sollte die Lücke zwischen Teil- und Vollerledigung kennen; GDPx misst genau diesen Abstand.
Worauf zu achten ist
- Ob andere Labore oder Hochschulen die GDPx-Ergebnisse nachvollziehen
- Fortschritte neuer Modelle in den Finanz- und Rechtsaufgaben
- Wie Banken und Kanzleien den Einsatz von Agenten in Transaktionen regeln
Quellen
- SemiAnalysis: GDPx, Measuring Frontier Model Capabilities Across the Most Valuable Domains
- Winzheng: GDPx Benchmark Debuts, Strongest Model Scores Only 12%, Finance and Legal Tasks All Zero
- Xenospectrum: SemiAnalysis Launches GDPx, Claude Opus 5.5 Leads with 12.0
- AI Weekly: SemiAnalysis launches GDPx, best frontier model hits 12%