Asistente de IA con documentos internos: cómo comprobar que sirve

Empieza por las preguntas que hoy interrumpen el trabajo

Un equipo puede perder tiempo buscando cómo registrar una solicitud, qué documentación pedir o qué hacer con un pedido incompleto. Un asistente interno podría ayudar a encontrar y explicar esos procedimientos. El problema es recuperar conocimiento para una consulta, no convertir una orden de compra en una tabla de datos.

Reúne preguntas reales de una sola área y pide al responsable que indique qué respuesta sería útil y dónde está respaldada. Incluye las consultas que hoy exigen preguntar a otra persona. Si nadie puede señalar una referencia válida o resolver una contradicción, primero hay una decisión pendiente sobre el procedimiento.

Para una primera evaluación, elige un recorrido delimitado: por ejemplo, consultas sobre recepción de pedidos. Evita mezclar desde el inicio documentos de clientes, información administrativa restringida y todos los manuales de la empresa. Más archivos no sustituyen una pregunta bien definida ni una fuente mantenida.

Prepara una biblioteca con responsables y versiones claras

Define qué copia se considera vigente, quién la aprueba y cómo se retira una versión anterior. Un archivo modificado recientemente puede contener instrucciones antiguas. Conviene distinguir fecha de edición, vigencia del procedimiento y alcance: área, producto o situación a la que corresponde.

• Responsable: quién puede confirmar o corregir el contenido.
• Vigencia: qué versión debe aplicarse y desde cuándo.
• Alcance: a qué tareas y usuarios corresponde el documento.
• Acceso: quién está autorizado a consultar cada conjunto de información.
• Actualización: cómo se comprobará que un cambio o retiro llegó al asistente.

Trabaja con una colección revisada antes de ampliar. Conserva ejemplos anonimizados para el relevamiento y acuerda el tratamiento de los documentos reales. Si hay dos procedimientos válidos para áreas distintas, el asistente debe poder pedir el contexto que falta o señalar la diferencia en vez de combinarlos.

Exige respuestas que puedan contrastarse con el documento

Google describe el anclaje en fuentes, o grounding, como la conexión de las respuestas del modelo con información verificable. Su documentación señala que puede reducir contenido inventado y aportar enlaces para revisión. Es una ayuda para controlar la respuesta, no una garantía de exactitud para cualquier consulta. Fuente: Google Cloud Documentation.

Pide que la respuesta permita abrir la fuente y ubicar el pasaje pertinente. Comprueba que la conclusión está respaldada por ese pasaje, no solo que aparece un enlace. Una instrucción puede tener condiciones o excepciones en otra sección: la evaluación debe revisar si el asistente las conserva cuando son necesarias.

También importa qué hace cuando no encuentra información. Microsoft advierte que desactivar respuestas sin fuentes en Copilot Studio no impide por completo que el modelo combine conocimiento general con material recuperado. Por eso, limitar una opción de configuración no reemplaza las pruebas con preguntas fuera del alcance. Fuente: Microsoft Learn.

Acordar una salida como no hay información suficiente es parte del diseño. Registra esas preguntas para que el responsable decida si falta documentación o si el tema debe seguir fuera del asistente. Una respuesta incompleta reconocida puede ser más útil que una instrucción convincente que el equipo no puede comprobar.

Prueba los permisos con usuarios que tengan accesos distintos

La autorización debe actuar sobre la información que el sistema recupera para responder. No debería depender únicamente de una frase que le pida al modelo no mostrar ciertos datos. Revisa también referencias, resúmenes y conversaciones guardadas: pueden contener información que no corresponde compartir con todos.

Azure AI Search documenta distintos mecanismos de acceso por documento, incluidos filtros y capacidades nativas marcadas como versión preliminar. La elección depende de la fuente y del modelo de identidad. Es un ejemplo de por qué conservar permisos exige diseño y configuración; no se debe asumir que copiar archivos a una búsqueda reproduce automáticamente sus restricciones. Fuente: Microsoft Learn.

Haz pruebas con cuentas autorizadas para la evaluación y documentos de prueba. Una persona sin acceso no debe recibir el contenido restringido al reformular la pregunta ni al pedir un resumen. Comprueba además qué pasa cuando se revoca un permiso y acuerda cómo se actualizan los accesos y qué demora se admite antes de habilitar uso real.

Usa una matriz de preguntas, fuentes y resultados esperados

La siguiente matriz es una propuesta editorial para organizar la aceptación. El responsable del proceso debe revisar las respuestas esperadas antes de probar. Reserva preguntas que no se hayan usado para ajustar el asistente; repetir solo una demostración preparada no permite evaluar cómo responderá al trabajo habitual.

Desliza la tabla para ver todas las columnas.

Registra por caso la pregunta, el rol de prueba, la respuesta y la fuente utilizada. Clasifica los errores por causa: no encontró el documento, lo interpretó mal, omitió una condición o usó información que no debía. Esa distinción ayuda a decidir qué corregir y qué parte del alcance todavía no conviene habilitar.

Ejemplo: consultar cómo tratar un pedido incompleto

La prueba debe incluir tanto la pregunta habitual como la excepción. Si el procedimiento cambia, repite ambas: una actualización puede corregir una respuesta y dejar otra apoyada en material anterior. También conviene comprobar que la referencia siga abriendo para el usuario que la necesita.

Cómo decidir si la primera versión está lista

Separa respuestas correctas y respaldadas, respuestas incompletas, errores y límites reconocidos. Evalúa también si encontrar y revisar la fuente requiere menos trabajo que la alternativa actual. No sumes una respuesta inventada y una abstención correcta dentro de una misma categoría de consultas no resueltas.

Acordar los errores que impiden avanzar es más útil que perseguir un porcentaje genérico. Una respuesta sobre un procedimiento importante puede necesitar revisión permanente. Define quién atiende incidentes, mantiene la biblioteca y repite las pruebas cuando cambian documentos, permisos o configuración.

Para pedir una propuesta, lleva preguntas representativas, fuentes anonimizadas, roles de acceso y resultados esperados. El alcance debe separar preparación documental, conexión, evaluación, actualización, mantenimiento y consumos externos. Si la información aún no está ordenada, esa preparación puede ser el primer trabajo antes de implementar el asistente.

Preguntas frecuentes