Agentes de IA
¿Cómo saber si un chatbot con IA está inventando respuestas?
Un chatbot con IA está inventando —lo que en el oficio se llama alucinar— cuando responde con seguridad algo que no está en la información de tu negocio: un precio, un plazo, un servicio o una promoción que nadie autorizó. Se detecta rápido si sabes qué mirar: respuestas muy seguras sobre cifras, servicios que no vendes, condiciones que nadie aprobó, y un agente que nunca dice "no sé". La causa casi siempre es la misma: le pidieron redactar sin darle una base de conocimiento a la cual atenerse.
Por qué un modelo inventa
Un modelo de lenguaje no consulta una base de datos por su cuenta: predice el texto más probable a partir de lo que le preguntaron. Si tiene la información delante, la usa. Si no la tiene, no se queda callado por defecto: rellena con lo que suena razonable. Y lo hace con el mismo tono seguro con el que dice las cosas ciertas, que es exactamente lo que lo hace peligroso en un canal de ventas.
Por eso el problema casi nunca es "el modelo es malo". El problema es de montaje: un agente al que le pusieron un prompt de dos párrafos y lo soltaron a atender clientes, sin catálogo, sin precios y sin políticas, va a inventar. No porque falle: porque es lo único que puede hacer.
Las cuatro señales, en orden de gravedad
- Da cifras exactas que nadie cargó. Precios, plazos, porcentajes de descuento. Es la señal más cara: un número inventado es una expectativa que después alguien de tu equipo tiene que desarmar.
- Ofrece servicios que no vendes. Suele pasar cuando le dijeron "nunca le digas que no al cliente". El agente estira el catálogo hasta que ofrece algo que no existe.
- Nunca dice que no sabe. Un agente bien montado responde "eso lo confirma un asesor" varias veces al día. Si nunca lo hace, no es que sepa todo: es que rellena.
- Contesta distinto la misma pregunta. Pregúntale tres veces lo mismo con palabras diferentes. Si las tres respuestas no son compatibles entre sí, está improvisando.
Hay una quinta señal, más sutil, que aparece con el tiempo: el agente sigue dando información vieja. Un precio que cambió hace dos meses, un horario de temporada, una sucursal que cerró. Eso no es alucinar, es una base de conocimiento desactualizada, y se arregla en el documento, no en el código.
La prueba de los diez minutos
Antes de firmar con cualquier proveedor, siéntate diez minutos con el agente y hazle estas cinco preguntas. No hace falta ser técnico:
- Pregúntale por un servicio que no vendes. Debe decir que no lo ofrecen y proponer lo más cercano que sí exista, no improvisar un paquete.
- Pregúntale un precio. Si tu negocio no publica precios, no debe darte un número.
- Pregúntale algo muy específico de tu operación que no esté cargado. Debe reconocer que no lo tiene.
- Pregúntale lo mismo de tres formas distintas y compara las respuestas.
- Pídele que te atienda una persona. Debe escalar, no seguir insistiendo.
Un agente que pasa esas cinco no es infalible, pero está montado por alguien que entendió el riesgo.
Cómo se evita, técnicamente
Con cuatro piezas, y las cuatro son de montaje, no de suerte. La primera es una base de conocimiento real: catálogo, precios, políticas, horarios y preguntas frecuentes del negocio, que el agente consulta antes de responder. La segunda es una instrucción explícita de responder solo con eso y de admitir cuando algo no está.
La tercera es el escalado a humano: un camino claro para pasar la conversación a una persona cuando el tema se sale del alcance, con el historial cargado. La cuarta, la que casi nadie hace, es revisar las conversaciones reales cada semana para detectar qué preguntó la gente que el agente no supo contestar, y meterlo a la base de conocimiento.
Hay un matiz que aprendimos operando el nuestro: la regla de "nunca le digas que no al cliente" se pasa de rosca con facilidad y termina prometiendo cosas que no existen. La fórmula que funciona para lo que no está en el catálogo es fija y aburrida a propósito: "eso lo podemos evaluar, un asesor le confirma el alcance". Aburrida y cierta vale más que entusiasta e inventada. Así están montados los agentes de IstmoIA.
Lo que le cuesta a un negocio
Un agente que inventa no falla en silencio: falla hacia afuera. El cliente recibe un precio que no existe, agenda contando con un servicio que no prestas, o descarta tu empresa porque el bot le dijo que no hacían algo que sí hacen. Ese último caso es el peor, porque nunca te enteras: la persona no reclama, simplemente no vuelve.
Y hay un costo de confianza que se paga una sola vez. Un cliente al que la IA de tu empresa le dio información falsa no distingue entre "el bot se equivocó" y "esta empresa me mintió". Por eso vale más un agente que dice "no sé" cinco veces al día que uno que suena brillante y acierta el noventa por ciento.