Evaluierungen
Wie Sie herausfinden, ob Ihr Agent etwas taugt, und ob Ihre letzte Änderung geholfen hat.
Sie haben einen Agenten gebaut. Sie haben ihn ein paar Mal ausprobiert, er wirkte gut, Sie haben ihn geteilt.
Dann haben Sie die Anweisungen verbessert. Ist er jetzt besser? Sie probieren es zweimal, es wirkt gut. Aber Sie haben die heiklen Fälle von letzter Woche nicht noch einmal geprüft, und Sie erinnern sich nicht mehr genau, was er früher gesagt hat.
Eine Evaluierung ist genau dieses Prüfen, aufgeschrieben, damit man es wiederholen kann.
Was das konkret ist
Drei Dinge:
Fälle. Fragen, die Sie dem Agenten stellen würden, mit Ihren Notizen dazu, wie eine gute Antwort aussieht. Sagen wir zwanzig davon.
Prüfungen. Was „gut“ bedeutet, ausdrücklich gemacht. Ist er beim Thema geblieben? Hat er sich an die Dokumente gehalten, statt etwas zu erfinden? Hat er das richtige Werkzeug benutzt? War er schnell genug?
Ein Lauf. Asteria stellt Ihrem Agenten jeden Fall und wendet jede Prüfung an, und zeigt Ihnen dann eine Bewertungsübersicht.
Ändern Sie den Agenten, lassen Sie es erneut laufen, und vergleichen Sie. Das ist die ganze Idee, alles andere ist Detail.
Warum sich der Nachmittag lohnt
Sie können sich nicht erinnern, was er früher getan hat. Niemand kann das. Ein Lauf von vor drei Wochen kann es.
Eine Korrektur an einer Stelle bricht etwas an einer anderen. Sie ergänzen „nenne immer die Quelle“, und plötzlich verweigert er Fragen, die er vorher beantwortet hat. Zwanzig Fälle fangen das in fünf Minuten ab.
„Wirkt besser“ ist kein Grund, etwas auszurollen. Erst recht nicht, wenn Sie den Agenten gleich für Ihre ganze Organisation veröffentlichen.
Eines Tages erben Sie einen Agenten. Seine Evaluierung ist die einzige ehrliche Beschreibung dessen, was er tun soll.
Wann sich der Aufwand lohnt
Nicht für jeden Agenten. Ein Agent, den Sie für sich selbst gebaut haben, zweimal pro Woche nutzen und mit einem Blick beurteilen können, kommt gut ohne aus. Der Aufwand zahlt sich erst aus, wenn ein Fehler Kosten hat oder ein Publikum.
Es lohnt sich, wenn:
- der Agent geteilt ist und sich also jemand anderes darauf verlässt, dass er richtig liegt
- er etwas Folgenreiches berührt: Zahlen, Richtlinien, alles mit Kundenkontakt
- Sie ihn regelmäßig ändern und wissen wollen, ob Sie ihn verbessern
- er unbeaufsichtigt nach Zeitplan läuft, wo eine schlechte Antwort erst später jemandem auffällt
Die Begriffe
| Wort | Bedeutet |
|---|---|
| Datensatz | Eine Menge von Fällen plus die Prüfungen, die darauf angewendet werden |
| Fall | Eine Frage, optional mit einer Referenzantwort |
| Evaluierer | Eine Prüfung, angewendet auf jeden Fall |
| Lauf | Eine Ausführung eines Datensatzes gegen den Agenten |
| Revision | Eine gespeicherte Fassung der Einrichtung des Agenten, angelegt bei jedem Speichern |
| Vorlage | Ein Datensatz, den jemand aus Ihrer Organisation veröffentlicht hat oder der mit dem Produkt mitkommt, bereit zum Kopieren |
Wo das zu finden ist
An zwei Orten, für zwei verschiedene Aufgaben.
Am Agenten ein Bereich Evaluierungen: Datensätze bauen, ausführen, Ergebnisse für diesen Agenten lesen.
Evaluierungen in der linken Leiste des Agenten-Bereichs, eine Übersicht über alle Agenten, die Sie sehen können, mit einem Filter für das, was Aufmerksamkeit braucht. Nützlich, sobald Sie mehr als zwei davon haben.
Weiter
- Einen Datensatz bauen: Fälle schreiben, sie erzeugen lassen, mit einer Vorlage starten.
- Prüfungen wählen: wofür jede Art von Evaluierer gedacht ist.
- Die Ergebnisse lesen: die Bewertungsübersicht, das Raster, und der Vergleich zweier Läufe.
- Tutorial: einen Agenten evaluieren.