Evaluaciones
Cómo averiguas si tu agente es bueno y si tu último cambio ayudó.
Construiste un agente. Lo probaste unas cuantas veces, parecía bien, lo compartiste.
Luego mejoraste las instrucciones. ¿Está mejor ahora? Lo pruebas dos veces, parece bien. Pero no volviste a revisar los casos incómodos de la semana pasada, y no recuerdas exactamente qué decía antes.
Una evaluación es esa comprobación, puesta por escrito para poder repetirla.
Qué es en realidad
Tres cosas:
Casos. Preguntas que le harías al agente, con tus notas sobre cómo es una buena respuesta. Veinte, digamos.
Comprobaciones. Qué significa "bueno", hecho explícito. ¿Se ciñó al tema? ¿Se atuvo a los documentos en lugar de inventar? ¿Usó la herramienta correcta? ¿Volvió lo bastante rápido?
Una ejecución. Asteria le plantea todos los casos a tu agente y aplica todas las comprobaciones, y luego te enseña un boletín de notas.
Cambia el agente, ejecuta otra vez y compara. Esa es toda la idea, y el resto son detalles.
Por qué merece la tarde
No recuerdas lo que hacía antes. Nadie lo recuerda. Una ejecución de hace tres semanas sí.
Un arreglo en un sitio rompe algo en otro. Añades "cita siempre la fuente" y empieza a negarse a preguntas que antes respondía. Veinte casos lo detectan en cinco minutos.
"Parece mejor" no es motivo para publicar. Sobre todo cuando estás a punto de publicar el agente a toda tu organización.
Algún día heredarás un agente. Su evaluación es la única descripción honesta de lo que se supone que hace.
Cuándo molestarse
No para cada agente. Un agente que construiste para ti, que usas dos veces por semana y que puedes revisar de un vistazo está bien sin ella. El esfuerzo solo se amortiza cuando equivocarse tiene un coste o un público.
Merece la pena cuando:
- El agente está compartido, así que otra persona depende de que acierte
- Toca algo con consecuencias: cifras, políticas, cualquier cosa que vea el cliente
- Lo estás cambiando con frecuencia y quieres saber si lo estás mejorando
- Se ejecuta sin supervisión con una programación, donde nadie ve una mala respuesta hasta después
El vocabulario
| Palabra | Significa |
|---|---|
| Conjunto | Un grupo de casos más las comprobaciones que se les aplican |
| Caso | Una pregunta, opcionalmente con una respuesta de referencia |
| Evaluador | Una comprobación, aplicada a todos los casos |
| Ejecución | Una pasada de un conjunto contra el agente |
| Revisión | Una versión guardada de la configuración del agente, creada cada vez que guardas |
| Plantilla | Un conjunto publicado por un compañero o incluido con el producto, listo para copiar |
Dónde vive
Dos sitios, para dos trabajos distintos.
En el agente, una sección de Evaluaciones: construye conjuntos, ejecútalos, lee resultados de ese agente.
Evaluaciones en la columna izquierda del área de Agentes, un panel de todos los agentes que puedes ver, con un filtro de "necesita atención". Útil en cuanto tienes más de un par.
Siguiente
- Construir un conjunto: escribir casos, generarlos, partir de una plantilla.
- Elegir comprobaciones: para qué sirve cada tipo de evaluador.
- Leer los resultados: el boletín de notas, la matriz y comparar dos ejecuciones.
- Tutorial: evaluar un agente.