El fallo que nadie ve venir
Pregúntale a un asistente genérico cuál es el preaviso en tu empresa y te lo dirá. Con fluidez. Con el tono adecuado, la estructura adecuada y una cifra que suena exactamente a un preaviso. Puede que incluso acierte: estadísticamente, algo cercano a esa cifra es habitual.
Ahí está el problema. Una respuesta equivocada que parece equivocada se detecta en un segundo. Una respuesta equivocada que parece correcta se reenvía, se pega en un contrato, se le cita a un cliente. El coste de la IA dentro de una empresa casi nunca es la suscripción. Es esa única respuesta segura al mes que nadie pensó en verificar, porque no había nada en ella que verificar.
Así que la pregunta que hay que hacerle a cualquier asistente que pongas delante de tu equipo no es «qué tal son sus respuestas». Es: ¿qué hace cuando no tiene base para dar una?
Anclaje: responder desde lo que realmente tienes
Un modelo general responde a partir de todo lo que ha leído alguna vez. Un asistente anclado responde a partir de un conjunto definido de material propio —tu manual, tus contratos, tus procedimientos, tus tarifas— y de nada más.
Esa restricción suena a limitación. Es el producto entero.
La diferencia se ve de inmediato. Hazles a ambos la misma pregunta sobre tu política de devoluciones. El modelo general te da una respuesta sensata del sector. El anclado te da tu política, o te dice que tu política no cubre ese caso. Solo uno de los dos sirve, y es el que a veces dice menos.
El anclaje también cambia lo que significa equivocarse. Un modelo sin anclaje se equivoca de forma invisible: el razonamiento está dentro del modelo. Un modelo anclado, al equivocarse, señala un documento, y tú puedes abrirlo y ver que está desactualizado. El error se vuelve localizable. Es otra clase de sistema.
Un sistema que puede equivocarse de una forma que puedes rastrear es más seguro que un sistema que suele acertar por razones que no puedes inspeccionar.
Las citas no son una nota al pie, son la interfaz
Muchas herramientas añaden ya un pequeño enlace de «fuente» bajo la respuesta. Tratarlo como decoración es no ver lo que hace.
Una cita cambia el comportamiento del usuario. Cuando la fuente está visible, la gente la abre en las respuestas que importan y la salta en las que no, que es exactamente el reparto correcto de la atención humana. Cuando no hay fuente, o no se verifica nada o se verifica todo, y las dos cosas son malas.
Una cita también cambia el comportamiento de quien construye. En cuanto cada respuesta tiene que señalar un documento, ya no puedes tapar una base de conocimiento pobre con un modelo elocuente. Los huecos del contenido se vuelven visibles como huecos en las respuestas. El asistente se convierte en una auditoría de tu propia documentación: incómoda casi siempre, útil siempre.
Haz que la fuente sea concreta. «Del manual del empleado» no es una cita; la sección, la versión y la fecha sí lo son. Si la respuesta salió de un documento actualizado por última vez hace tres años, quien la lee merece saberlo antes de actuar.
Los permisos son parte de la respuesta, no un ajuste
Un asistente que puede leerlo todo acabará diciéndole a alguien algo que no debería. No por malicia, sino porque una pregunta estaba formulada de una manera que arrastró datos salariales, un borrador de contrato o un documento de un departamento ajeno.
La solución no es un filtro atornillado después. Es hacer del acceso el suelo sobre el que se apoya la respuesta: el asistente recupera solo de aquello que quien pregunta ya tiene derecho a abrir, de modo que dos compañeros pueden hacer la misma pregunta y recibir, correctamente, respuestas distintas. Si tu empresa ya tiene organigrama y permisos documentales, esa estructura debe gobernar al asistente. Si el asistente necesita su propio modelo de permisos, ya tienes dos sistemas que mantener sincronizados, y se desincronizarán.
Convierte la tasa de negativa en una cifra que vigilas
Esta es la métrica que casi nadie sigue: ¿con qué frecuencia se niega el asistente a responder?
Si está cerca de cero, el sistema no está siendo honesto: ningún conjunto documental cubre todo lo que la gente pregunta. Si es muy alta, la base de conocimiento es demasiado pobre o la recuperación está fallando. En algún punto intermedio hay un sistema que te dice la verdad sobre lo que contiene.
Mejor aún: trata cada negativa como una señal y no como un callejón sin salida. Una pregunta que el asistente no pudo responder es una pregunta que tu documentación no cubre. Regístralas, agrúpalas, y tendrás una lista priorizada de lo que escribir a continuación, generada por las necesidades reales de quien hace el trabajo y no por quien tuvo tiempo de redactar una política.
Siete preguntas para cualquier proveedor
Antes de firmar nada, que la demo responda a esto:
- Pregunta algo que tus documentos realmente no cubren. ¿Lo dice, o produce algo plausible?
- Pregunta algo en lo que tus documentos se contradicen. ¿Saca a la luz el conflicto o elige uno en silencio?
- Abre la fuente en tres respuestas. ¿Llegas al pasaje exacto o solo al archivo?
- Haz la misma pregunta como dos personas con permisos distintos. ¿Difieren las respuestas como deben?
- Pregunta en un idioma sobre un documento escrito en otro. Las empresas reales funcionan con documentación en varios idiomas.
- Pregunta por algo que cambió hace poco. ¿Usa la versión vigente o la que indexó primero?
- Pregunta dónde se procesan y almacenan los datos. La respuesta debería ser una frase, no una reunión.
Un proveedor seguro de su sistema disfrutará con las preguntas uno y dos. Fíjate en quienes desvían la demo para esquivarlas.
Por qué lo construimos así
Pusimos este principio en el centro del espacio de trabajo interno que estamos construyendo: el empleado pregunta en lenguaje normal, la respuesta sale únicamente de los documentos de la propia empresa, se muestra la fuente y, cuando no la hay, el asistente dice que no lo sabe en lugar de rellenar el hueco.
Ese último comportamiento es el más difícil de lanzar, porque hace que la demo luzca peor. Un asistente que responde a todo impresiona durante diez minutos. Un asistente que de vez en cuando dice «no lo sé, y esto es lo que he buscado» se gana algo que una demo impresionante nunca consigue: que la gente le crea cuando sí responde.
Esa confianza es todo el activo. Lo demás es recuperación de información.