Las empresas están adoptando rápidamente la inteligencia artificial agéntica —sistemas de IA que operan sin guía humana—, pero han sido mucho más lentas en implementar gobernanza para supervisarlos, según muestra una nueva encuesta. Ese desfase es una fuente importante de riesgo en la adopción de IA y, en mi opinión, también una oportunidad de negocio.
Soy profesor de sistemas de información de gestión en la LeBow College of Business de la Universidad Drexel, que recientemente encuestó a más de 500 profesionales de datos a través de su Center for Applied AI & Business Analytics. Encontramos que el 41% de las organizaciones ya usa IA Agéntica en sus operaciones diarias; no son proyectos piloto o pruebas aisladas, sino parte de flujos de trabajo regulares.
Al mismo tiempo, la gobernanza va rezagada: solo el 27% de las organizaciones afirma que sus marcos de gobernanza son lo suficientemente maduros para monitorear y gestionar estos sistemas de manera efectiva. En este contexto, la gobernanza no significa regulación ni reglas innecesarias, sino tener políticas y prácticas que permitan a las personas influir claramente en cómo funcionan los sistemas autónomos, incluyendo quién es responsable de las decisiones, cómo se supervisa su comportamiento y cuándo deben intervenir los humanos.
Este desfase puede convertirse en un problema cuando los sistemas autónomos actúan en situaciones reales antes de que alguien pueda intervenir. Por ejemplo, durante un apagón reciente en San Francisco, los robotaxis autónomos quedaron atrapados en intersecciones, bloqueando vehículos de emergencia y confundiendo a otros conductores. La situación mostró que incluso cuando los sistemas autónomos funcionan “según lo diseñado”, condiciones inesperadas pueden generar resultados no deseados.
Esto plantea una gran pregunta: cuando algo sale mal con la IA, ¿quién es responsable y quién puede intervenir?
Infórmate: Una startup de inteligencia artificial se fusiona con un operador de centros de datos respaldado por multimillonarios en un acuerdo de 2,500 mdd
¿Por qué importa la gobernanza?
Cuando los sistemas de IA actúan por sí solos, la responsabilidad ya no recae donde esperan las organizaciones. Las decisiones siguen ocurriendo, pero es más difícil rastrear la propiedad. Por ejemplo, en servicios financieros, los sistemas de detección de fraude cada vez más actúan en tiempo real para bloquear actividades sospechosas antes de que un humano revise el caso. Los clientes a menudo solo se ingresan cuando su tarjeta es rechazada.
Si tu tarjeta es rechazada por error por un sistema de IA, el problema no es la tecnología en sí —que está funcionando como fue diseñada—, sino la rendición de cuentas. La investigación sobre gobernanza humano-IA muestra que los problemas surgen cuando las organizaciones no definen claramente cómo deben interactuar humanos y sistemas autónomos. Esta falta de claridad dificulta saber quién es responsable y cuándo debe intervenir.
Sin gobernanza diseñada para la autonomía, los pequeños problemas pueden crecer silenciosamente. La supervisión se vuelve esporádica y la confianza se debilita, no porque los sistemas hayan caído, sino porque las personas luchan por explicar o respaldar lo que los sistemas hacen.
Cuando los humanos intervienen demasiado tarde
En muchas organizaciones, los humanos están técnicamente “en el bucle”, pero solo después de que los sistemas autónomos ya han accionado. Las personas tienden a involucrarse cuando un problema se hace visible: un precio parece incorrecto, se marca una transacción o un cliente se queja. Para entonces, la decisión ya se tomó y la revisión humana se vuelve correctiva, no supervisora.
La intervención tardía puede limitar el impacto de las decisiones individuales, pero rara vez aclara quién es el responsable. Los resultados pueden corregirse, pero la responsabilidad sigue sin estar clara. La guía reciente muestra que cuando la autoridad es ambigua, la supervisión humana se vuelve informal e inconsistente. El problema no es la participación humana, sino el momento. Sin gobernanza diseñada desde el inicio, las personas actúan como válvula de seguridad, no como responsables de decisiones.
Te puede interesar: Líderes de la industria de reuniones analizarán en NL el futuro del sector
Cómo la gobernanza determina el avance
La IA agencia a menudo produce resultados rápidos, especialmente cuando las tareas se automatizan por primera vez. Nuestra encuesta encontró que muchas empresas perciben estos beneficios iniciales. Pero a medida que los sistemas autónomos crecen, las organizaciones suelen añadir controles manuales y pasos de aprobación para gestionar riesgos.
Con el tiempo, lo que antes era simple se vuelve más complejo. La toma de decisiones se ralentiza, aumentan los ataques y los beneficios de la automatización disminuyen. Esto ocurre no porque la tecnología deje de funcionar, sino porque las personas nunca confían completamente en los sistemas autónomos.
Esta desaceleración no tiene que ocurrir. Nuestra encuesta muestra una diferencia clara: muchas organizaciones ven beneficios tempranos de la IA autónoma, pero aquellas con gobernanza más sólida tienen más probabilidades de convertir esos beneficios en resultados a largo plazo, como mayor eficiencia y crecimiento de ingresos. La diferencia clave no es la ambición ni las habilidades técnicas, sino estar preparados.
Una buena gobernanza no limita la autonomía; la hace viable al aclarar quién toma decisiones, cómo se supervisa el funcionamiento de los sistemas y cuándo deben intervenir las personas. La orientación internacional de la OCDE enfatiza este punto: la responsabilidad y la supervisión humana deben diseñarse en los sistemas de IA desde el principio, no añadirse después.
Lejos de frenar la innovación, la gobernanza genera la confianza necesaria para ampliar la autonomía en lugar de retirarla silenciosamente.
La próxima ventaja competitiva es la gobernanza inteligente
La próxima ventaja competitiva en IA no vendrá de una adopción más rápida, sino de una gobernanza más inteligente. A medida que los sistemas autónomos asuman más responsabilidades, el éxito pertenecerá a las organizaciones que definen claramente la propiedad, la supervisión y la intervención desde el principio.
En la era de la IA Agéntica, la confianza recaerá en las organizaciones que gobiernen mejor, no solo en las que adopten primero.
*Murugan Anandarajan es profesor de Ciencias de la Decisión y Sistemas de Información Gerencial en la Universidad de Drexel.
Este artículo fue publicado originalmente por The Conversation
Sigue la información de la tecnología en nuestra sección especializada
