Valutazioni
Come scopri se il tuo agente è buono, e se l'ultima modifica ha aiutato.
Hai costruito un agente. L'hai provato qualche volta, sembrava a posto, l'hai condiviso.
Poi hai migliorato le istruzioni. Adesso è meglio? Lo provi due volte, sembra a posto. Ma non hai ricontrollato i casi scomodi della settimana scorsa, e non ti ricordi esattamente cosa diceva prima.
Una valutazione è quel controllo, messo per iscritto così da poter essere ripetuto.
Cos'è davvero
Tre cose:
Casi. Domande che faresti all'agente, con i tuoi appunti su com'è fatta una buona risposta. Venti, diciamo.
Controlli. Cosa significa "buona", reso esplicito. È rimasto in tema? Si è attenuto ai documenti invece di inventare? Ha usato lo strumento giusto? È tornato abbastanza in fretta?
Un'esecuzione. Asteria sottopone ogni caso al tuo agente e applica ogni controllo, poi ti mostra una pagella.
Cambia l'agente, esegui di nuovo e confronta. È tutta qui l'idea, il resto sono dettagli.
Perché vale il pomeriggio
Non ti ricordi cosa faceva prima. Nessuno se lo ricorda. Un'esecuzione di tre settimane fa sì.
Una correzione in un punto rompe qualcosa da un'altra parte. Aggiungi "cita sempre la fonte" e comincia a rifiutare domande a cui prima rispondeva. Venti casi lo scoprono in cinque minuti.
"Sembra migliore" non è un motivo per rilasciare. Soprattutto quando stai per pubblicare l'agente a tutta la tua organizzazione.
Prima o poi erediterai un agente. La sua valutazione è l'unica descrizione onesta di cosa dovrebbe fare.
Quando prendersi il disturbo
Non per ogni agente. Un agente che hai costruito per te, che usi due volte a settimana e che riesci a controllare a occhio va benissimo senza. Lo sforzo si ripaga solo quando sbagliare ha un costo o un pubblico.
Ne vale la pena quando:
- L'agente è condiviso, quindi qualcun altro conta sul fatto che sia corretto
- Tocca qualcosa di rilevante: numeri, policy, qualsiasi cosa rivolta ai clienti
- Lo stai modificando spesso e vuoi sapere se lo stai migliorando
- Gira non presidiato su una pianificazione, dove nessuno vede una risposta sbagliata fino a dopo
Il vocabolario
| Parola | Significa |
|---|---|
| Dataset | Un insieme di casi più i controlli da applicare |
| Caso | Una domanda, con facoltativa risposta di riferimento |
| Valutatore | Un controllo, applicato a ogni caso |
| Esecuzione | Un'esecuzione di un dataset contro l'agente |
| Revisione | Una versione salvata della configurazione dell'agente, creata a ogni salvataggio |
| Modello | Un dataset pubblicato da un collega o fornito con il prodotto, pronto da copiare |
Dove sta
Due posti, per due lavori diversi.
Sull'agente, una sezione Valutazioni: costruisci dataset, li esegui, leggi i risultati per *quell'*agente.
Valutazioni nella colonna sinistra dell'area Agenti, una dashboard su tutti gli agenti che vedi, con un filtro "Mostra solo ciò che richiede attenzione". Utile quando ne hai più di un paio.
Prossimi passi
- Costruire un dataset: scrivere i casi, generarli, partire da un modello.
- Scegliere i controlli: a cosa serve ogni tipo di valutatore.
- Leggere i risultati: la pagella, la matrice e il confronto tra due esecuzioni.
- Tutorial: valutare un agente.