Durante los últimos dos años, la conversación sobre Inteligencia Artificial ha girado alrededor de los modelos de lenguaje: cuál razona mejor, cuál es más rápido o cuál obtiene mejores resultados en los benchmarks.
Sin embargo, cuando una organización incorpora agentes de IA a sus procesos de negocio, descubre una realidad distinta: el éxito depende mucho menos del modelo de lo que solemos pensar y mucho más de aspectos clásicos de la arquitectura empresarial: datos, seguridad, gobierno, supervisión y diseño de procesos.
Una precisión importante antes de comenzar: algunos de los casos reales que aparecen a continuación corresponden a chatbots conversacionales y no a agentes en el sentido actual del término. La diferencia es relevante (un chatbot principalmente responde, un agente además consulta datos, toma decisiones y ejecuta acciones sobre otros sistemas), pero estos precedentes ilustran problemas que adquieren una dimensión mucho mayor cuando la IA deja de limitarse a conversar y pasa a actuar.
1. Pensar que todo se resuelve con un buen prompt
Uno de los errores más habituales es asumir que un agente es simplemente un modelo de lenguaje al que basta con proporcionar un buen prompt. Un prompt puede orientar al modelo, pero no puede garantizar por sí solo que una acción se ejecute siempre de la forma prevista.
El caso del chatbot de Chevrolet Watsonville, que llegó a aceptar la venta de un vehículo por un dólar tras determinadas instrucciones de un usuario, es un buen ejemplo de ello. El problema no era únicamente la respuesta generada, sino la ausencia de límites claros sobre lo que el sistema podía comprometer.
Cuando un agente participa en descuentos, aprobaciones o transacciones, la respuesta puede ser probabilística, pero la ejecución no debería serlo. Por eso están ganando relevancia las arquitecturas de razonamiento híbrido, que combinan la capacidad del LLM para interpretar el contexto con lógica determinista para garantizar que determinadas acciones siempre respeten las reglas de negocio.
2. No preparar los datos
La calidad de un agente nunca será superior a la calidad de la información que utiliza.
Muchas organizaciones dedican semanas a evaluar modelos y muy poco tiempo a revisar la calidad, consistencia y actualidad de sus datos. Alimentar un agente con información contradictoria o desactualizada aumenta la probabilidad de respuestas incorrectas y decisiones erróneas.
El caso de Air Canada es ilustrativo: su chatbot comunicó a un cliente una política de reembolsos que en realidad no se podía aplicar retroactivamente. La compañía terminó siendo considerada responsable de la información proporcionada por el sistema.
La lección es clara: un agente no debería inventar conocimiento corporativo. Debe apoyarse en fuentes gobernadas, trazables y verificables, de modo que siempre podamos conocer el origen de la información que utiliza.
3. Olvidar que los permisos también aplican a la IA
Un agente no debería acceder a información que un empleado no puede consultar ni realizar acciones para las que no está autorizado. Debe operar dentro del modelo de identidad, permisos y gobierno existente, no al margen de él.
En muchos prototipos se concede al agente acceso indiscriminado a documentos, bases de datos o aplicaciones, dejando que sea él quien decida qué información necesita. Esto introduce dos riesgos distintos.
El primero es el oversharing: información que ya estaba indebidamente accesible, pero permanecía prácticamente oculta entre miles de documentos, pasa a ser localizable y resumible en segundos mediante lenguaje natural.
El segundo es aún más importante: los permisos no solo deben controlar qué datos puede consultar un agente, sino también qué puede hacer con ellos. Un agente puede estar autorizado a leer un documento y, sin embargo, no debería poder compartirlo, modificarlo o desencadenar una acción en otro sistema.
Un caso reciente en Meta mostró otra dimensión de este problema: un agente interno proporcionó una recomendación técnica incorrecta y la publicó en un foro sin la aprobación humana prevista. Un empleado siguió posteriormente esa recomendación y ejecutó un cambio que permitió durante un tiempo el acceso a información sensible por parte de personas que no estaban autorizadas para verla. El agente no realizó directamente ese cambio, pero el incidente puso de manifiesto la importancia de establecer controles no solo sobre los datos a los que puede acceder un agente, sino también sobre cómo se publican, validan y utilizan sus recomendaciones antes de que desencadenen acciones con impacto en los sistemas.
La prueba de seguridad ya no consiste únicamente en verificar que el agente no puede leer información restringida. También debemos comprobar qué puede hacer con la información a la que tiene acceso, qué puede comunicar sin supervisión y qué controles existen antes de que sus recomendaciones se conviertan en acciones.
4. No medir los resultados que realmente importan
Una buena demostración no significa que un proyecto de IA haya tenido éxito. Un agente solo genera valor cuando mejora indicadores de negocio: reducir tiempos de resolución, disminuir errores, aumentar la satisfacción del cliente o reforzar el cumplimiento normativo.
El riesgo está en medir una única métrica y confundirla con el resultado global. Automatizar más conversaciones, por ejemplo, puede reducir costes y, al mismo tiempo, deteriorar la experiencia del cliente si aumenta la necesidad de re-contacto o de escalado a un humano.
El control consiste en definir desde el principio un cuadro de mando equilibrado que combine productividad, calidad, satisfacción, errores y resultado de negocio. Si no podemos cuantificar qué ha mejorado desde la implantación del agente, probablemente todavía no sepamos si el proyecto está funcionando.
5. Automatizar procesos que ya eran ineficientes
La IA no corrige procesos mal diseñados; simplemente permite ejecutarlos mucho más deprisa.
Si un procedimiento contiene pasos innecesarios, aprobaciones redundantes o reglas inconsistentes, incorporar un agente puede multiplicar la velocidad con la que esos problemas se producen.
El caso de Zillow Offers, aunque anterior a la IA generativa, es un excelente precedente. La compañía automatizó a gran escala la compra de viviendas mediante algoritmos de valoración. Cuando cambiaron las condiciones del mercado, la automatización amplificó el impacto de unas decisiones cuyos supuestos habían dejado de ser válidos.
Antes de automatizar un proceso conviene hacerse una pregunta muy sencilla: si lo diseñáramos hoy desde cero, ¿lo haríamos exactamente igual? Si la respuesta es no, probablemente el primer paso no sea incorporar un agente, sino rediseñar el proceso.
La tecnología importa, pero la arquitectura importa más
Los modelos seguirán evolucionando y serán cada vez más capaces. Pero, a medida que los agentes pasen de responder preguntas a ejecutar procesos completos, el reto será menos conseguir que el modelo «sepa más» y más conseguir que el sistema se comporte de forma fiable, segura y predecible.
Eso exige combinar datos gobernados, identidad y permisos, reglas de negocio deterministas, validaciones, observabilidad y, cuando sea necesario, supervisión humana. Y aquí aparece uno de los grandes desafíos de la aproximación do-it-yourself: construir un prototipo conectado a unas APIs es relativamente sencillo; convertirlo en un sistema empresarial robusto, auditable y mantenible es mucho más complejo.
Los cinco errores anteriores apuntan, en realidad, a una misma cuestión: la responsabilidad y el control sobre los agentes. El propietario de un sistema empresarial debe poder definir sus límites de actuación, disponer de observabilidad completa sobre su comportamiento y contar con mecanismos para escalar o interrumpir su ejecución cuando ésta se desvíe de lo esperado.
Porque el verdadero reto de la IA agéntica no consiste únicamente en construir agentes capaces de hacer cosas, sino en construir sistemas en los que una organización pueda confiar.
Quizá la pregunta más importante no es «¿qué modelo deberíamos utilizar?», sino otra bastante más difícil:
¿Tenemos la arquitectura necesaria para confiar en lo que nuestros agentes van a hacer?
Autor
Manuel Vigil
Distinguished Solutions Engineer, Salesforce – LinkedIn
Referencias
AIAAIC — Driver persuades chatbot to sell car for USD 1
Chicago Auto Trade Association — Chevrolet Dealer’s Chatbot Agrees to Sell Tahoe for $1
Moffatt v. Air Canada — Civil Resolution Tribunal decision
Stanford GSB — Why Zillow’s Algorithmic Home Buying Venture Imploded
