Construir un conjunto
Veinte buenas preguntas ganan a doscientas mediocres. Así se eligen.
Un conjunto es un grupo de casos con nombre y las comprobaciones que se les aplican. Un agente puede tener varios: uno para las preguntas del día a día, otro para las incómodas, otro para las cosas que debería rechazar.
Nuevo conjunto, ponle un nombre y una línea sobre cuándo ejecutarlo, y empieza a añadir casos.
Qué hace a un caso
Entrada, la pregunta, exactamente como la escribiría una persona real. Escribe la versión desordenada, no la pulcra, porque la desordenada es la que enviarán tus compañeros.
Salida esperada (opcional), una respuesta de referencia. Algunas comprobaciones la necesitan, la mayoría no. Escríbela cuando haya una respuesta definitivamente correcta, y déjala vacía cuando no la haya.
Metadatos (opcional), etiquetas tuyas como {"difficulty": "hard"}, útiles para dar sentido a los resultados más adelante.
Sobrescritura de evaluadores (opcional), comprobaciones solo para este caso; si no, hereda las del conjunto.
Elegir tus veinte
Esta es la parte que determina si todo el ejercicio sirve de algo, y el instinto (escribir veinte preguntas normales) produce un conjunto que aprueba siempre y no te enseña nada.
Un buen reparto:
Unas cuantas preguntas de verdad normales. El pan de cada día. Si estas fallan alguna vez, algo va muy mal.
Las incómodas. Ambiguas, mal especificadas o con una suposición enterrada dentro. "¿Cuántos días me tocan?" cuando la respuesta depende del país.
Las que debería rechazar o matizar. Fuera de su ámbito, o donde la respuesta honesta es "los documentos no lo dicen". Este es el grupo que la gente se deja fuera, y es donde los agentes fallan más a menudo: respondiendo con toda seguridad algo que deberían haber declinado.
Las que te mordieron. Cada vez que el agente se equivoque en uso real, añádelo como caso. En un par de meses esto se convierte en la parte más valiosa del conjunto, porque es una lista de errores que ya no puede cometer en silencio.
Una o dos con trampa. Una pregunta con una premisa falsa. "¿Por qué descontinuamos el plan Pro?" cuando no lo hicisteis. ¿Te corrige o se inventa un motivo?
Veinte casos elegidos así te dicen más que doscientas variaciones sobre "cuál es nuestra política de reembolso".
Generar casos
Si el bloqueo es quedarse mirando una lista en blanco, Generar te redacta algunos: describe el dominio, di cuántos y, opcionalmente, da un par de ejemplos para dar el tono.
Luego revisas todos los borradores, editando, eliminando o regenerando uno a uno antes de aceptarlos. No se guarda nada hasta que aceptas.
Los casos generados son un punto de partida, no un conjunto. Tienden a agolparse en lo obvio, que es justo el grupo que menos te enseña.
Úsalos para las preguntas normales y luego añade a mano las incómodas, los rechazos y las trampas. Esas salen de conocer el trabajo, y ningún generador conoce tu trabajo.
Partir de una plantilla
Partir de una plantilla copia un conjunto que alguien de tu organización publicó, o uno inicial incluido por Asteria Labs.
Obtienes tu propia copia. Los cambios posteriores en el original nunca llegan hasta ella, y tus ediciones nunca tocan las suyas.
Publica el tuyo con Publicar en el catálogo y todos los de tu organización pueden leer y copiar cada caso de prueba que contiene. Retirarlo después no afecta a las copias que la gente ya hizo.
Bancos de preguntas compartidos
Cuando varios agentes bifurcan la misma plantilla, la vista de bancos de preguntas compartidos los agrupa y los ordena por su última tasa de aprobado. Útil para un estándar que todo el mundo debe cumplir: un agente muy por debajo de los demás queda a la vista.
Lee ese ranking con una salvedad en mente, que la propia vista indica: bifurcar copia las preguntas de ese momento. Una copia editada desde entonces puede que ya no pregunte lo mismo, así que una puntuación más baja puede significar un conjunto más difícil y no un agente peor.
Mantener honesto un conjunto
Añade los fallos reales. El hábito de mayor valor con diferencia. Los errores reales ganan a los imaginados.
No edites un caso para que apruebe. Es tentador, y destruye el sentido de todo. Si un caso es de verdad injusto, arréglalo. Si es justo y falla, eso es el conjunto haciendo su trabajo.
Poda los que nunca fallan. Un caso que lleva cuarenta ejecuciones aprobando cuesta dinero y no te dice nada. Quédate con unos pocos como canarios y retira el resto.
Déjalo en paz cuando compares. Cambiar los casos y el agente a la vez significa que no puedes saber cuál movió la puntuación.