Evaluation
Eine Agent-Demo zeigt, dass etwas einmal funktionieren kann. Evaluation sagt dir, wie oft es funktioniert, wo es bricht und ob die Änderung von letzter Woche es besser oder schlechter gemacht hat.
Ein einzelner Modellaufruf hat eine Eingabe und eine Ausgabe. Du vergleichst die Ausgabe mit einer Referenz und bekommst eine Zahl. Ein Agent plant, ruft Tools auf, liest die Ergebnisse und entscheidet, was als Nächstes passiert — oft über Dutzende Schritte. Zwei Läufe derselben Aufgabe können unterschiedliche Wege nehmen und beide richtig sein. Oder beide sehen richtig aus, und einer hat still den falschen Flug gebucht.
Das ändert, was ein Test ist. Fehler summieren sich: Ein Schritt, der in 95 Prozent der Fälle gelingt, ergibt zwanzigmal hintereinander ein System, das nur etwa jedes dritte Mal sauber durchläuft. Der Agent hat Nebenwirkungen, also kostet eine falsche Aktion mehr als ein falscher Satz. Und die Umgebung bewegt sich — APIs ändern sich, Dokumente werden aktualisiert, das Modell hinter dem Agent wird ausgetauscht. Eine Evaluation, die einmal im März lief, sagt wenig über das System im Juni.
Die meisten Teams, mit denen ich spreche, wissen das. Was sie statt einer Evaluation haben, ist ein gemeinsamer Channel, in dem Screenshots von guten und schlechten Läufen landen. Das ist ein Anfang, aber es sagt dir nicht, ob du ausliefern kannst.
Die Bestandteile sind nicht exotisch. Die Arbeit liegt darin, sie ehrlich zu halten.
Offline-Evals sagen dir, ob eine Änderung sicher ausgeliefert werden kann. Produktionsstichproben sagen dir, ob deine Offline-Evals die Realität noch beschreiben. Du brauchst beides, und das zweite speist das erste: Jeder überraschende Fehler in der Produktion wird ein neuer Testfall.
Wo sich ein Ergebnis per Code prüfen lässt, prüf es per Code. Wurde der Datensatz angelegt, liefert das SQL die erwarteten Zeilen, lässt sich die Ausgabe parsen. Solche Checks sind billig, schnell und driften nicht.
Vieles, was Agents tun, lässt sich so nicht prüfen. Gibt die Zusammenfassung die Quelle treu wieder? War die Antwort angemessen für einen verärgerten Kunden? Hier setzen die meisten Teams ein zweites Modell als Judge ein. Das funktioniert — in Grenzen. Ein Judge-Modell hat eigene Verzerrungen, ist bei flüssig formuliertem Text eher nachsichtig und kann blinde Flecken mit dem Modell teilen, das es bewertet. Ein Judge, den du nie mit menschlichen Bewertungen verglichen hast, ist eine Meinung, keine Messung.
Der Judge braucht also seine eigene Evaluation: ein Set von Fällen, das Menschen bewertet haben und an dem du misst, wie oft der Judge übereinstimmt. Ist die Übereinstimmung hoch, kann der Judge das Volumen übernehmen. Sinkt sie — nach einem Modell-Update oder bei einem neuen Aufgabentyp —, musst du das wissen, bevor du seinen Scores vertraust.
Menschliches Urteil kommt an drei Stellen ins Spiel. Erstens beim Aufbau des Referenz-Sets: Jemand muss entscheiden, was ein gutes Ergebnis ist, und dieser Jemand sollte die Domäne kennen. Zweitens beim Kalibrieren automatischer Judges, wie oben. Drittens in der Produktion, für die Fälle, in denen eine falsche Aktion teuer ist — ein Freigabeschritt, bevor der Agent Geld überweist, Daten löscht oder einem Kunden schreibt.
Der Fehler, den ich am häufigsten sehe: Human Review wird als vorübergehende Krücke behandelt, die so schnell wie möglich weg soll. Bei Aktionen mit hohem Risiko ist es Teil des Produkts. Die nützliche Frage ist, welche Entscheidungen einen Menschen brauchen, wie du nur diese weiterleitest und wie die Entscheidungen der Reviewer zurück ins Test-Set fließen.
Menschliche Bewertungen sind außerdem verrauschter, als viele erwarten. Zwei Experten sind sich in einem spürbaren Teil der Fälle uneinig. Wenn du diese Uneinigkeit nicht misst, kennst du die Obergrenze nicht, die deine automatischen Metriken überhaupt erreichen können.
Experten-Review skaliert nicht auf Tausende Fälle, und für viele Fragen brauchst du keine Experten — du brauchst viele sorgfältige Menschen und einen guten Prozess. Ist diese Antwort hilfreich? Passt dieses Transkript zum Audio? Welche dieser beiden Antworten würdest du bevorzugen? Dafür ist Crowdsourcing da.
Hier bin ich nicht neutral, und das solltest du wissen: Crowdee in Berlin ist meine eigene Firma. Ich bin dort CTO und Geschäftsführer, und wir betreiben eine Crowdsourcing-Plattform für Studien und Human Data für das Training von KI-Modellen. Ich kenne das Thema also von der Betreiberseite, und daher kommen meine Ansichten dazu.
Was ich dort gelernt habe: Crowd-Daten sind nur so gut wie ihre Qualitätskontrolle. Das heißt Qualifikationsaufgaben, bevor jemand bewerten darf, versteckte Kontrollfragen mit bekannter Antwort, mehrere unabhängige Bewertungen pro Fall und gemessene statt angenommene Übereinstimmung zwischen den Bewertenden. Ohne das hast du sehr viele Labels und keine Ahnung, was sie wert sind.
Crowd-Bewertungen und Experten-Bewertungen beantworten unterschiedliche Fragen. Nimm Experten, um festzulegen, was in deiner Domäne korrekt heißt. Nimm die Crowd, um das im großen Umfang zu messen und die Fälle zu finden, in denen echte Nutzer etwas anders sehen als dein Team.
Wer es noch nicht braucht: ein Team, das den Use Case noch sucht. Wenn du nicht weißt, wofür der Agent da ist, gibt es nichts zu messen. Bau die Sache zuerst, notfalls von Hand, und schreib dabei auf, woran du ein gutes Ergebnis erkennst.
Architektur- und Evaluations-Reviews für LLM- und agentische Systeme sind Teil meiner Advisory-Arbeit. Das heißt: Ich schaue mir an, was du gebaut hast, wie du heute entscheidest, ob es funktioniert, und wie ein Test-Setup aussehen müsste, damit du mit gutem Gewissen ausliefern kannst. Wie ich mit Unternehmen arbeite, steht unter Zusammenarbeit.
Advisory ist bezahlt und selektiv. Ich übernehme es dort, wo eine echte Entscheidung ansteht, und ich sage dir, wenn ich glaube, dass du mich nicht brauchst. Die FAQ beantworten die Fragen, die mir am häufigsten gestellt werden. Für das größere Bild dessen, was ich tue, fang auf der Startseite an.