Scegliere i controlli

Un valutatore è un controllo applicato a ogni caso. Li scegli sul dataset, e puoi sovrascriverli caso per caso.

Arrivano in cinque gruppi, e la distinzione utile è economico e certo contro costoso e di giudizio.

Comportamentali: economici, deterministici

Controlli meccanici senza nessun modello di mezzo. Non costano niente e danno sempre la stessa risposta.

• Il tipo di output corrisponde: è tornato nella forma attesa?
• Latenza sotto soglia: è stato abbastanza veloce?
• Strumenti utilizzati: ha chiamato gli strumenti che avrebbe dovuto?

Strumenti utilizzati è più utile di quanto sembri. Impostalo per verificare che l'agente abbia cercato nella tua raccolta invece di rispondere a memoria, e catturi il fallimento silenzioso più comune in assoluto. Si può anche invertire: superato quando gli strumenti non vengono usati, che è il modo di verificare una barriera di sicurezza ("questo agente non deve mai inviare email").

Parti da qui. Questi controlli sono gratuiti e catturano problemi veri.

Strutturali: è fedele ai documenti?

Per gli agenti che rispondono da una raccolta. Smontano la risposta e la confrontano con il materiale recuperato.

• Fedeltà: ogni affermazione è sostenuta dai documenti, oppure ci ha ricamato sopra?
• Rilevanza della risposta: risponde davvero alla domanda posta?
• Precisione del contesto e Richiamo del contesto: il recupero ha trovato il materiale giusto, e in quantità sufficiente?

La Fedeltà è quella da eseguire su qualsiasi agente il cui lavoro è rispondere dai tuoi documenti. È il controllo contro l'invenzione sicura di sé, che è il fallimento più temuto e meno testato.

I due controlli sul contesto sono diagnostici: quando la fedeltà è a posto ma le risposte sono scarne, ti dicono se il problema è l'agente oppure la raccolta sottostante.

Euristici: un giudice con una griglia

Un modello assegna un punteggio a ogni risposta rispetto a una griglia generale.

• Completezza: ha coperto quello che doveva?
• Sicurezza: c'è qualcosa di problematico?

Veloci e qualitativi. Tratta i punteggi come un segnale e non come una misurazione: sono opinioni, e oscillano un po' tra un'esecuzione e l'altra.

Compiti sui dati: l'artefatto è venuto giusto?

Per gli agenti che producono tabelle e grafici, questi confrontano quello che è uscito con una forma attesa: forma della tabella, colonne, schema, valori, tipo di grafico, più un giudice complessivo sulla qualità dell'analisi dati.

Rilevanti solo se il tuo agente produce artefatti di dati. Altrimenti ignorali.

Personalizzati: il tuo criterio

Aggiungi valutatore personalizzato ti lascia scrivere il controllo tu. Un'Etichetta (che diventa l'intestazione di colonna nei risultati) e un Criterio con parole tue.

Il criterio è dove sta il lavoro. Criteri vaghi producono punteggi senza significato:

Debole: La risposta è di buona qualità.

Forte: Usa la nostra terminologia aziendale: "membro" non "utente", "piano" non "pacchetto". Non promette mai una tempistica precisa. Finisce con un passo successivo che chi legge può compiere.

La finestra suggerisce di ancorare la scala, e vale la pena farlo. Prendendo lo stesso criterio e dicendo come sono fatti gli estremi:

Ancorato: 0 = usa "utente" o "pacchetto", oppure promette una tempistica. 1 = usa "membro" e "piano" dappertutto, non promette tempistiche e finisce con un passo successivo.

Un giudice a cui è stato detto come sono fatti lo 0 e l'1 è molto più coerente di uno lasciato a interpretare "buona".

Aggiungine quanti te ne servono, ciascuno con un'etichetta distinta.

Come un caso viene superato o fallito

Vale la pena capirlo, perché il numero in cima dipende da questo.

Ogni controllo produce un punteggio da 0 a 1, e alcuni hanno una soglia: punteggio pari o superiore, controllo superato. Un controllo senza soglia viene valutato e mostrato ma non ha un'asticella, e i risultati lo indicano come tale invece di far finta di niente.

Un caso è superato quando tutti i suoi controlli vincolanti sono superati. I controlli saltati e quelli in errore non contano contro di lui.

Vincolante è la parola importante. Un controllo può essere marcato come informativo: viene valutato, mostrato e seguito nel tempo, ma non fa mai fallire un caso. Usalo per le cose che vuoi osservare senza restare bloccato, come un giudice stilistico la cui opinione non vuoi che decida se un'esecuzione è verde.

Le ripetizioni, se esegui un caso più di una volta, prendono il punteggio medio, e il caso è superato solo se ogni ripetizione è superata. È voluto: una risposta che passa due volte su tre non è una risposta che passa, è una risposta intermittente, e l'intermittenza è segnale, non rumore.

Scegliere un insieme sensato

Per la maggior parte degli agenti, parti con:

1. Strumenti utilizzati, per confermare che cerca invece di indovinare
2. Fedeltà, se risponde dai documenti
3. Un giudice personalizzato per quello che "giusto" significa nel tuo lavoro

Tre controlli che capisci battono nove che non capisci. Sai dire cosa significa un fallimento, che è tutto il punto.

Aggiungine altri quando un fallimento vero sfugge a quelli che hai, e usa informativo invece di vincolante per tutto ciò di cui non sei ancora sicuro.