Einen Datensatz bauen
Zwanzig gute Fragen schlagen zweihundert mittelmäßige. So wählen Sie sie aus.
Ein Datensatz ist eine benannte Menge von Fällen und die Prüfungen, die darauf angewendet werden. Ein Agent kann mehrere haben: einen für die Alltagsfragen, einen für die heiklen, einen für die Dinge, die er ablehnen sollte.
Neuer Datensatz, geben Sie ihm einen Namen und eine Zeile dazu, wann er laufen soll, und beginnen Sie, Fälle hinzuzufügen.
Was einen Fall ausmacht
Eingabe, die Frage, genau so, wie ein echter Mensch sie tippen würde. Tippen Sie die unordentliche Fassung, nicht die aufgeräumte, denn die unordentliche ist die, die Ihre Kolleginnen und Kollegen schicken werden.
Erwartete Ausgabe (optional), eine Referenzantwort. Manche Prüfungen brauchen eine, die meisten nicht. Schreiben Sie eine, wenn es eine eindeutig richtige Antwort gibt, und lassen Sie sie leer, wenn nicht.
Metadaten (optional), Ihre eigenen Etiketten wie {"difficulty": "hard"}, nützlich, um die Ergebnisse später einzuordnen.
Evaluierer-Überschreibungen (optional), Prüfungen nur für diesen Fall. Sonst erbt er die des Datensatzes.
Ihre zwanzig auswählen
Das ist der Teil, der darüber entscheidet, ob die ganze Übung nützlich ist. Der erste Reflex (zwanzig gewöhnliche Fragen schreiben) erzeugt einen Datensatz, der auf ewig besteht und Ihnen nichts beibringt.
Eine gute Mischung:
Ein paar wirklich gewöhnliche Fragen. Das tägliche Brot. Wenn die je fehlschlagen, ist etwas grundlegend faul.
Die heiklen. Mehrdeutig, unterbestimmt, oder mit einer versteckten Annahme darin. „Wie viele Tage stehen mir zu?“, wenn die Antwort vom Land abhängt.
Die, die er ablehnen oder relativieren sollte. Außerhalb seines Auftrags, oder dort, wo die ehrliche Antwort lautet: „die Dokumente sagen dazu nichts“. Das ist die Gruppe, die die meisten weglassen, und genau hier scheitern Agenten am häufigsten: sie beantworten selbstsicher etwas, das sie hätten ablehnen sollen.
Die, die Sie schon einmal erwischt haben. Jedes Mal, wenn der Agent im echten Einsatz etwas falsch macht, nehmen Sie es als Fall auf. Über ein paar Monate wird das der wertvollste Teil des Datensatzes, denn es ist eine Liste von Fehlern, die er nicht mehr unbemerkt machen kann.
Ein oder zwei mit einer Falle. Eine Frage mit einer falschen Prämisse. „Warum haben wir den Pro-Tarif eingestellt?“, obwohl Sie das nie getan haben. Widerspricht er, oder erfindet er einen Grund?
Zwanzig so gewählte Fälle sagen Ihnen mehr als zweihundert Varianten von „wie lautet unsere Rückgabepolitik“.
Fälle erzeugen lassen
Wenn das Starren auf eine leere Liste die Hürde ist, entwirft Generieren einige für Sie: beschreiben Sie die Domäne, sagen Sie, wie viele, und geben Sie optional ein paar Beispiele als Geschmacksprobe mit.
Sie prüfen dann jeden Entwurf, bearbeiten, löschen oder generieren einzelne neu, bevor Sie akzeptieren. Nichts wird gespeichert, bis Sie akzeptieren.
Generierte Fälle sind ein Ausgangspunkt, kein Datensatz. Sie sammeln sich meist um das Naheliegende, und genau diese Gruppe bringt Ihnen am wenigsten bei.
Nutzen Sie sie für die gewöhnlichen Fragen und ergänzen Sie die heiklen, die Ablehnungen und die Fallen von Hand. Die kommen daher, dass Sie den Job kennen, und kein Generator kennt Ihren Job.
Mit einer Vorlage starten
Mit einer Vorlage starten kopiert einen Datensatz, den jemand in Ihrer Organisation veröffentlicht hat, oder einen mitgelieferten Starter von Asteria Labs.
Sie bekommen Ihre eigene Kopie. Spätere Änderungen am Original erreichen sie nie, und Ihre Änderungen berühren deren Fassung nie.
Veröffentlichen Sie Ihren eigenen mit Im Katalog veröffentlichen, und alle in Ihrer Organisation können jeden Testfall darin lesen und kopieren. Ihn später zu entfernen, ändert nichts an den Kopien, die andere bereits gemacht haben.
Gemeinsame Fragenkataloge
Wenn mehrere Agenten dieselbe Vorlage forken, gruppiert die Ansicht Gemeinsame Fragenkataloge sie und ordnet sie nach ihrer jüngsten Bestehensquote. Nützlich für einen Standard, den alle erfüllen sollen: ein Agent, der deutlich unter den anderen liegt, wird sichtbar.
Lesen Sie diese Rangfolge mit einer Einschränkung im Kopf, die die Ansicht auch selbst nennt: das Forken kopiert die Fragen in diesem Moment. Eine seither bearbeitete Kopie fragt womöglich nicht mehr dasselbe ab. Eine niedrigere Punktzahl kann also einen schwereren Datensatz bedeuten statt einen schlechteren Agenten.
Einen Datensatz ehrlich halten
Nehmen Sie die echten Fehlschläge auf. Die einzelne Gewohnheit mit dem höchsten Wert. Echte Fehler schlagen ausgedachte.
Bearbeiten Sie keinen Fall, damit er besteht. Verlockend, und es zerstört den ganzen Sinn. Wenn ein Fall wirklich unfair ist, reparieren Sie ihn. Wenn er fair ist und fehlschlägt, tut der Datensatz genau seine Arbeit.
Misten Sie die aus, die nie fehlschlagen. Ein Fall, der vierzig Läufe hintereinander bestanden hat, kostet Geld und sagt Ihnen nichts. Behalten Sie ein paar als Warnkanarien und setzen Sie den Rest außer Dienst.
Lassen Sie ihn in Ruhe, wenn Sie vergleichen. Fälle und Agent gleichzeitig zu ändern heißt, dass Sie nicht sagen können, was die Punktzahl bewegt hat.