Ir al contenido principal
  • citas
  • cumplimiento
  • RAG

Cómo verificar una respuesta de IA sobre tus documentos

Una respuesta sin fuente no es una respuesta: es una hipótesis. Guía práctica para verificar lo que un sistema de IA afirma sobre tus propios documentos.

BrainBox Team3 min de lectura
Ver en Markdown

Cuando un equipo legal, de cumplimiento o de investigación adopta IA sobre sus propios documentos, la pregunta que importa no es qué tan buena suena la respuesta. Es si alguien puede comprobarla antes de firmar algo.

Qué hace verificable a una cita

Una cita verificable tiene tres componentes. Si falta uno, la verificación se rompe.

  1. El documento

    El nombre del archivo del que salió la afirmación. No "sus documentos" ni "la normativa aplicable": el archivo concreto.

  2. La ubicación

    La página, la cláusula o la sección. Un PDF de 400 páginas sin número de página no es una fuente, es una búsqueda pendiente.

  3. El pasaje

    El texto literal que sustenta la afirmación, para poder compararlo con lo que el sistema dijo que decía.

Con esos tres datos, verificar toma segundos. Sin ellos, el trabajo de comprobación es idéntico al de haber hecho la búsqueda a mano.

Para la procedencia de costos y deducciones por expensas necesarias, se requerirá de facturas con el cumplimiento de los requisitos establecidos.

Estatuto Tributario, Artículo 771-2 · p. 184

Así se ve una cita completa: documento, página y pasaje. El lector puede abrir la página 184 y confirmarlo sin volver a preguntarle a nadie.

Por qué los modelos inventan fuentes

Un modelo de lenguaje predice texto probable. Si le preguntas por el contenido de un contrato y no le entregas el contrato, va a producir algo con forma de respuesta: una cláusula plausible, un número de página razonable, un tono seguro.

La diferencia entre un sistema que cita y uno que inventa no está en el modelo. Está en si la respuesta se construye a partir de pasajes recuperados de tus documentos o a partir de la memoria del modelo.

Modelo sin documentosModelo con recuperación
Origen de la respuestaMemoria del entrenamientoPasajes de tus archivos
Fuente citadaPlausible, a veces inexistenteEl pasaje que se usó
Cómo se verificaBuscando manualmenteAbriendo la página citada
Falla de formaSilenciosaVisible: no encuentra nada

La última fila es la importante. Un buen sistema falla diciendo "no encontré esto en tus documentos". Un mal sistema falla respondiendo con seguridad.

Un protocolo de verificación en tres pasos

Para cualquier afirmación que vaya a sustentar una decisión:

  1. Abre la fuente citada. No la resumida por el sistema: el documento original, en la página indicada.
  2. Compara el pasaje literal. ¿Dice lo que el sistema afirma que dice, o dice algo parecido?
  3. Pregunta por lo contrario. Si el sistema afirma que algo está permitido, pregúntale qué documentos indican lo opuesto. Un sistema honesto encuentra las excepciones.

El tercer paso es el que más gente omite y el que más errores detecta.

3

datos por cita

documento, página y pasaje

<10s

para verificar

si la cita está completa

80+

formatos de archivo

soportados en BrainBox

Qué exigirle a un proveedor

Antes de comprar, pide una prueba con tus documentos, no con la demo:

  • Sube un documento que conozcas a fondo.
  • Haz una pregunta cuya respuesta esté en una sola página.
  • Verifica que la cita apunte a esa página.
  • Haz una pregunta cuya respuesta no esté en el documento.

Esa última pregunta es la prueba real. Si el sistema responde igual de seguro que antes, no está leyendo tus documentos.

Preguntas frecuentes

¿Qué es una cita verificable en un sistema de IA?
Es una referencia que incluye el nombre del documento, la ubicación exacta dentro de él (página o sección) y el pasaje literal que sustenta la afirmación. Un nombre de archivo por sí solo no es una cita verificable, porque no permite comprobar nada.
¿Por qué un modelo de lenguaje inventa fuentes?
Un modelo genera el texto más probable dado su contexto. Si no se le entregan los documentos como contexto, produce algo que se parece a una cita, con el formato correcto y un número de página plausible, sin que exista un pasaje real detrás.
¿Cuánto tiempo debería tomar verificar una respuesta?
Menos de diez segundos por afirmación. Si verificar cuesta más que buscar la información manualmente, el sistema no está ahorrando trabajo: lo está desplazando.

Escrito por

BrainBox Team

Inteligencia documental, por ExaByte Company

Construimos BrainBox — la plataforma que los equipos usan para preguntar sobre sus propios documentos y obtener respuestas con citas exactas de página.