KI-Agenten, die wirklich liefernFintech mit echten MargenIndividuelle Software, kein Off-the-shelfForschung, die in Produktion gehtIch investiere zuerst in Menschen, dann in SlidesImmobilien mit Tech-BlickAbschläge statt Pitch-DecksSkin in the game — immerSignal statt RauschenIn Berlin verwurzelt. Weltweit unterwegs.
André Beyer

Evaluation

AI-Agent-Evaluation in Berlin

Eine Agent-Demo zeigt, dass etwas einmal funktionieren kann. Evaluation sagt dir, wie oft es funktioniert, wo es bricht und ob die Änderung von letzter Woche es besser oder schlechter gemacht hat.

Warum Agents schwerer zu evaluieren sind als Modelle

Ein einzelner Modellaufruf hat eine Eingabe und eine Ausgabe. Du vergleichst die Ausgabe mit einer Referenz und bekommst eine Zahl. Ein Agent plant, ruft Tools auf, liest die Ergebnisse und entscheidet, was als Nächstes passiert — oft über Dutzende Schritte. Zwei Läufe derselben Aufgabe können unterschiedliche Wege nehmen und beide richtig sein. Oder beide sehen richtig aus, und einer hat still den falschen Flug gebucht.

Das ändert, was ein Test ist. Fehler summieren sich: Ein Schritt, der in 95 Prozent der Fälle gelingt, ergibt zwanzigmal hintereinander ein System, das nur etwa jedes dritte Mal sauber durchläuft. Der Agent hat Nebenwirkungen, also kostet eine falsche Aktion mehr als ein falscher Satz. Und die Umgebung bewegt sich — APIs ändern sich, Dokumente werden aktualisiert, das Modell hinter dem Agent wird ausgetauscht. Eine Evaluation, die einmal im März lief, sagt wenig über das System im Juni.

Die meisten Teams, mit denen ich spreche, wissen das. Was sie statt einer Evaluation haben, ist ein gemeinsamer Channel, in dem Screenshots von guten und schlechten Läufen landen. Das ist ein Anfang, aber es sagt dir nicht, ob du ausliefern kannst.

Was ein funktionierendes Eval-Setup enthält

Die Bestandteile sind nicht exotisch. Die Arbeit liegt darin, sie ehrlich zu halten.

  • Ein Task-Set aus echter Nutzung. Fünfzig bis ein paar hundert Fälle aus Logs, Support-Tickets und den Fehlern, die du schon gesehen hast — keine Prompts, die sich jemand an einem Nachmittag ausgedacht hat.
  • Eine Definition von Erfolg pro Aufgabe. Entspricht der Endzustand dem, was der Nutzer gebraucht hat? Das ist Outcome-Bewertung, und es ist die Zahl, die am meisten zählt.
  • Trajektorien-Checks. Welche Tools wurden aufgerufen, in welcher Reihenfolge, mit welchen Argumenten, zu welchen Kosten und mit welcher Latenz. Ein Agent, der nach vierzig überflüssigen Aufrufen zur richtigen Antwort kommt, ist nicht fertig.
  • Regressionsläufe. Jede Änderung an Prompts, Tools oder Modell läuft gegen dasselbe Set, bevor sie Nutzer erreicht.
  • Stichproben aus der Produktion. Ein Teil des Live-Traffics wird laufend geprüft, weil Nutzer immer Dinge tun, die dein Task-Set nicht vorhergesehen hat.

Offline-Evals sagen dir, ob eine Änderung sicher ausgeliefert werden kann. Produktionsstichproben sagen dir, ob deine Offline-Evals die Realität noch beschreiben. Du brauchst beides, und das zweite speist das erste: Jeder überraschende Fehler in der Produktion wird ein neuer Testfall.

Automatische Bewertung und ihre Grenzen

Wo sich ein Ergebnis per Code prüfen lässt, prüf es per Code. Wurde der Datensatz angelegt, liefert das SQL die erwarteten Zeilen, lässt sich die Ausgabe parsen. Solche Checks sind billig, schnell und driften nicht.

Vieles, was Agents tun, lässt sich so nicht prüfen. Gibt die Zusammenfassung die Quelle treu wieder? War die Antwort angemessen für einen verärgerten Kunden? Hier setzen die meisten Teams ein zweites Modell als Judge ein. Das funktioniert — in Grenzen. Ein Judge-Modell hat eigene Verzerrungen, ist bei flüssig formuliertem Text eher nachsichtig und kann blinde Flecken mit dem Modell teilen, das es bewertet. Ein Judge, den du nie mit menschlichen Bewertungen verglichen hast, ist eine Meinung, keine Messung.

Der Judge braucht also seine eigene Evaluation: ein Set von Fällen, das Menschen bewertet haben und an dem du misst, wie oft der Judge übereinstimmt. Ist die Übereinstimmung hoch, kann der Judge das Volumen übernehmen. Sinkt sie — nach einem Modell-Update oder bei einem neuen Aufgabentyp —, musst du das wissen, bevor du seinen Scores vertraust.

Human-in-the-Loop: wo Menschen drinbleiben

Menschliches Urteil kommt an drei Stellen ins Spiel. Erstens beim Aufbau des Referenz-Sets: Jemand muss entscheiden, was ein gutes Ergebnis ist, und dieser Jemand sollte die Domäne kennen. Zweitens beim Kalibrieren automatischer Judges, wie oben. Drittens in der Produktion, für die Fälle, in denen eine falsche Aktion teuer ist — ein Freigabeschritt, bevor der Agent Geld überweist, Daten löscht oder einem Kunden schreibt.

Der Fehler, den ich am häufigsten sehe: Human Review wird als vorübergehende Krücke behandelt, die so schnell wie möglich weg soll. Bei Aktionen mit hohem Risiko ist es Teil des Produkts. Die nützliche Frage ist, welche Entscheidungen einen Menschen brauchen, wie du nur diese weiterleitest und wie die Entscheidungen der Reviewer zurück ins Test-Set fließen.

Menschliche Bewertungen sind außerdem verrauschter, als viele erwarten. Zwei Experten sind sich in einem spürbaren Teil der Fälle uneinig. Wenn du diese Uneinigkeit nicht misst, kennst du die Obergrenze nicht, die deine automatischen Metriken überhaupt erreichen können.

Crowdsourcing: menschliches Urteil in großer Zahl

Experten-Review skaliert nicht auf Tausende Fälle, und für viele Fragen brauchst du keine Experten — du brauchst viele sorgfältige Menschen und einen guten Prozess. Ist diese Antwort hilfreich? Passt dieses Transkript zum Audio? Welche dieser beiden Antworten würdest du bevorzugen? Dafür ist Crowdsourcing da.

Hier bin ich nicht neutral, und das solltest du wissen: Crowdee in Berlin ist meine eigene Firma. Ich bin dort CTO und Geschäftsführer, und wir betreiben eine Crowdsourcing-Plattform für Studien und Human Data für das Training von KI-Modellen. Ich kenne das Thema also von der Betreiberseite, und daher kommen meine Ansichten dazu.

Was ich dort gelernt habe: Crowd-Daten sind nur so gut wie ihre Qualitätskontrolle. Das heißt Qualifikationsaufgaben, bevor jemand bewerten darf, versteckte Kontrollfragen mit bekannter Antwort, mehrere unabhängige Bewertungen pro Fall und gemessene statt angenommene Übereinstimmung zwischen den Bewertenden. Ohne das hast du sehr viele Labels und keine Ahnung, was sie wert sind.

Crowd-Bewertungen und Experten-Bewertungen beantworten unterschiedliche Fragen. Nimm Experten, um festzulegen, was in deiner Domäne korrekt heißt. Nimm die Crowd, um das im großen Umfang zu messen und die Fälle zu finden, in denen echte Nutzer etwas anders sehen als dein Team.

Wer das braucht

  • Teams, die einen Agent vor Kunden stellen wollen und seine Fehlerquote kennen müssen, bevor die Kunden sie finden.
  • Unternehmen, die zwischen Pilot und Rollout feststecken, weil niemand sagen kann, ob das System gut genug ist — und niemand definiert hat, was gut genug heißt.
  • Teams in regulierten oder risikoreichen Bereichen, die zeigen müssen, wie das System getestet wurde, und nicht nur, dass es getestet wurde.
  • Alle, die Modell oder Anbieter wechseln und vorher wissen wollen, was dabei kaputtgeht.

Wer es noch nicht braucht: ein Team, das den Use Case noch sucht. Wenn du nicht weißt, wofür der Agent da ist, gibt es nichts zu messen. Bau die Sache zuerst, notfalls von Hand, und schreib dabei auf, woran du ein gutes Ergebnis erkennst.

Wie ich daran arbeite

Architektur- und Evaluations-Reviews für LLM- und agentische Systeme sind Teil meiner Advisory-Arbeit. Das heißt: Ich schaue mir an, was du gebaut hast, wie du heute entscheidest, ob es funktioniert, und wie ein Test-Setup aussehen müsste, damit du mit gutem Gewissen ausliefern kannst. Wie ich mit Unternehmen arbeite, steht unter Zusammenarbeit.

Advisory ist bezahlt und selektiv. Ich übernehme es dort, wo eine echte Entscheidung ansteht, und ich sage dir, wenn ich glaube, dass du mich nicht brauchst. Die FAQ beantworten die Fragen, die mir am häufigsten gestellt werden. Für das größere Bild dessen, was ich tue, fang auf der Startseite an.

Verwandte Seiten