La demostración salió bien: cinco preguntas, cinco respuestas fluidas, todas con la referencia al documento. Las dudas aparecen después. ¿Las respuestas eran correctas? ¿Salieron de la versión vigente del procedimiento? ¿Y si la persona que preguntó no tuviera acceso a ese documento? Una respuesta bien redactada no prueba nada de eso. Evaluar un asistente que responde con base en documentos exige un método, y ese método tiene que existir antes de la primera demostración.
RAG en lenguaje sencillo
La mayoría de estos asistentes funciona en dos etapas, con un diseño llamado RAG (generación aumentada por recuperación):
- Recuperación. La pregunta se usa para buscar, en un índice de los documentos autorizados, los fragmentos más relevantes.
- Generación. Un modelo de lenguaje recibe la pregunta y esos fragmentos, y redacta la respuesta con base en ellos, indicando de dónde sacó cada afirmación.
El modelo no “conoce” los documentos de la empresa: lee lo que la búsqueda le entregó en ese momento. Por eso hay dos puntos de falla distintos. La búsqueda puede traer el fragmento equivocado, o ninguno útil. Y el modelo puede escribir algo que los fragmentos no dicen. Una buena evaluación mide los dos por separado, porque cada uno se corrige de forma distinta.
Preguntas de referencia validadas por especialistas
El centro de la evaluación es un conjunto de preguntas de referencia. Para cada pregunta, registre:
- la pregunta como la haría un usuario real, con las abreviaturas e imprecisiones habituales;
- la respuesta correcta, escrita o aprobada por un especialista del área;
- el documento y el fragmento que sustentan esa respuesta;
- el perfil de acceso de quien pregunta.
Incluya a propósito preguntas que los documentos no responden. Para ellas, el comportamiento correcto es decir que no encontró evidencia, no completar el vacío con conocimiento general del modelo. Un asistente que nunca dice “no lo sé” está ocultando un problema.
Divida el conjunto en dos partes: una para ajustar la solución durante el desarrollo y otra reservada para la evaluación de aceptación. Cuando las mismas preguntas sirven para ajustar y para aprobar, la nota final sale optimista.
¿La fuente citada sustenta la respuesta?
Citar una fuente no es lo mismo que estar sustentado por ella. Para cada respuesta, el evaluador verifica tres cosas:
- ¿La respuesta es correcta frente a la respuesta de referencia?
- ¿La búsqueda trajo el fragmento correcto? Si el fragmento que sustenta la respuesta no se recuperó, el problema está en el índice o en la búsqueda, no en el modelo.
- ¿El fragmento citado dice lo que la respuesta afirma? Las respuestas que agregan detalles ausentes en la fuente, o que citan un documento real para una afirmación que no contiene, cuentan como error, aunque la afirmación sea correcta por casualidad.
Documento reemplazado y acceso revocado
Dos pruebas suelen quedar fuera y son las que más importan en producción.
Documento reemplazado. Cuando un procedimiento tiene una versión nueva, la anterior tiene que salir del índice o quedar marcada como revocada. Incluya en el conjunto preguntas cuya respuesta cambió entre versiones y confirme que el asistente responde con la vigente. Después, publique una versión nueva de un documento de prueba y mida cuánto tarda el asistente en reflejar el cambio.
Acceso revocado. El asistente tiene que responder a cada persona solo con lo que ella puede ver. Pruebe con al menos dos perfiles: el mismo conjunto de preguntas, hecho por quien tiene y por quien no tiene acceso a un documento, debe producir respuestas distintas. Después, retire el acceso de un usuario de prueba y confirme que el contenido deja de aparecerle. Servicios de búsqueda como Azure AI Search ofrecen filtros de permisos por documento, pero la configuración y la sincronización de esos permisos tienen que probarse en el entorno real. Un solo caso de acceso indebido debe impedir la liberación.
Modelo como juez: apoyo, no sustituto
Evaluar cientos de respuestas a mano es caro, y por eso existen evaluadores automáticos en los que un modelo de lenguaje califica a otro: si la respuesta está sustentada por los fragmentos, si es relevante, si está completa. Son útiles para repetir la evaluación con cada cambio de modelo, de instrucciones o del índice, y para encontrar rápido los casos sospechosos.
Pero el juez también se equivoca, y puede hacerlo de forma sistemática. Úselo así:
- calíbrelo comparando sus calificaciones con las de especialistas en una muestra de las mismas respuestas;
- registre la versión del modelo juez y de sus instrucciones, porque la calificación cambia cuando ellos cambian;
- mantenga la decisión de aceptación en manos de especialistas, apoyada por los números del juez.
Costo por respuesta aceptada
El costo de operar un asistente no es solo el consumo del modelo. Sume, en un período:
- consumo del modelo y de la búsqueda;
- infraestructura y almacenamiento del índice;
- tiempo de las personas que revisan y corrigen respuestas.
Divida entre el número de respuestas aceptadas por los evaluadores, no entre el total de respuestas. Un asistente que responde mucho y acierta poco tiene un costo por respuesta aceptada alto, aunque su consumo sea bajo. Ese es el número que se compara con la línea base del proceso actual.
Tamaño de la muestra junto con las tasas
“92 % de acierto” dice poco sin el tamaño de la muestra. Como ejemplo de cálculo: 46 respuestas correctas en 50 preguntas dan 92 %, pero el intervalo de confianza del 95 % (método de Wilson) va de cerca de 81 % a 97 %. Con 500 preguntas y la misma proporción, el intervalo es mucho más estrecho. Por eso:
- informe siempre “46 de 50”, no solo “92 %”;
- separe las tasas por tipo de pregunta (con respuesta, sin respuesta, por perfil de acceso), porque el promedio general oculta la categoría que falla;
- repita la evaluación con el mismo conjunto en cada cambio relevante y compárela con la ronda anterior.
Con este método, la decisión de ampliar, ajustar o cerrar un piloto se apoya en evidencia registrada. Antes de llegar aquí, conviene revisar si los datos de la empresa están listos para IA para la tarea elegida.
¿Quiere evaluar un caso de uso?
Si la empresa está probando un asistente sobre documentos internos, o pensando en empezar, un diagnóstico ayuda a definir las preguntas de referencia, los perfiles de acceso y los criterios de aceptación. Conozca el servicio de datos e IA corporativa o solicite un diagnóstico.