Las empresas están actuando con rapidez para adoptar la IA agencial (sistemas de inteligencia artificial que funcionan sin supervisión humana), pero fueron mucho más lentas a la hora de implementar una gobernanza que los supervisan, según una nueva encuesta. Esta discrepancia es una fuente importante de riesgo en la adopción de la IA. En mi opinión, también representa una oportunidad de negocio.
Soy profesor de sistemas de información de gestión en la Facultad de Negocios LeBow de la Universidad de Drexel, que recientemente encuestó a más de 500 profesionales de datos a través de su Centro de IA Aplicada y Análisis de Negocios. Descubrimos que el 41% de las organizaciones utilizan IA agencial en sus operaciones diarias. No se trata solo de proyectos piloto o pruebas puntuales. Forman parte de los flujos de trabajo habituales.
Al mismo tiempo, la gobernanza está rezagada. Solo el 27% de las organizaciones afirma que sus marcos de gobernanza son lo suficientemente maduros como para supervisar y gestionar estos sistemas de forma eficaz.
En este contexto, la gobernanza no se trata de regulación ni de normas innecesarias. Significa contar con políticas y prácticas que permiten a las personas influir claramente en el funcionamiento de los sistemas autónomos, incluyendo quién es responsable de las decisiones, cómo se controla el comportamiento y cuándo deben intervenir los humanos. Esta discrepancia puede convertirse en un problema cuando los sistemas autónomos actúan en situaciones reales antes de que nadie pueda intervenir.
Por ejemplo, durante un reciente apagón en San Francisco, los robotaxis autónomos se atacaron en las intersecciones, bloqueando los vehículos de emergencia y confundiendo a los demás conductores. La situación demuestra que incluso cuando los sistemas autónomos se comportan según lo previsto, las condiciones inesperadas pueden provocar resultados indeseables.
Esto plantea una gran pregunta: cuando algo falla con la IA, ¿quién es responsable y quién puede intervenir?
Lee más: El responsable de la IA en EU cree que la regulación federal sería ‘herida autoinfligida’
¿Por qué es importante la gobernanza?
Cuando los sistemas de IA actúan por sí solos, la responsabilidad ya no recae donde esperan las organizaciones. Se siguen tomando decisiones, pero la propiedad es más difícil de rastrear. Por ejemplo, en los servicios financieros, los sistemas de detección de fraude actúan cada vez más en tiempo real para bloquear actividades sospechosas antes de que un humano revise el caso. Los clientes a menudo solo se ingresan cuando su tarjeta es rechazada.
Entonces, ¿qué pasa si un sistema de IA rechaza su tarjeta por error? En esa situación, el problema no radica en la tecnología en sí (que funciona como fue diseñada), sino en la rendición de cuentas. Las investigaciones sobre la gobernanza entre humanos e IA muestran que los problemas surgen cuando las organizaciones no definen claramente cómo deben colaborar las personas y los sistemas autónomos. Esta falta de claridad dificulta saber quién es responsable y cuándo debe intervenir.
Sin una gobernanza diseñada para la autonomía, los pequeños problemas pueden acumularse silenciosamente. La supervisión se vuelve esporádica y la confianza se debilita, no porque los sistemas hayan caído directamente, sino porque a las personas les cuesta explicar o respaldar lo que hacen los sistemas.
Cuando los humanos intervienen demasiado tarde
En muchas organizaciones, los humanos están técnicamente “involucrados”, pero solo después de que los sistemas autónomos ya hayan accionado. Las personas tienden a involucrarse en cuanto un problema se hace visible: cuando un precio parece incorrecto, se marca una transacción o un cliente se queja. Para entonces, el sistema ya ha tomado una decisión y la revisión humana se vuelve correctiva en lugar de supervisora.
La intervención tardía puede limitar las consecuencias de las decisiones individuales, pero rara vez aclara quién es el responsable. Los resultados pueden corregirse, pero la responsabilidad sigue siendo incierta.
Guías recientes muestran que cuando la autoridad no está clara, la supervisión humana se vuelve informal e inconsistente. El problema no es la participación humana, sino el tiempo. Sin una gobernanza diseñada con antelación, las personas actúan como una válvula de escape en lugar de como responsables de la toma de decisiones.
También lee: La fiebre del oro de los centros de datos con inteligencia artificial está dejando atrás a los propietarios
Cómo la gobernanza determina quién avanza
La IA Agentic suele ofrecer resultados rápidos y tempranos, especialmente cuando se automatizan las tareas por primera vez. Nuestra encuesta reveló que muchas empresas perciben estos beneficios desde el principio. Sin embargo, a medida que los sistemas autónomos crecen, las organizaciones suelen añadir comprobaciones manuales y pasos de aprobación para gestionar el riesgo.
Con el tiempo, lo que antes era sencillo se vuelve cada vez más complejo. La toma de decisiones se ralentiza, las soluciones alternativas aumentan y los beneficios de la automatización se desvanecen. Esto no ocurre porque la tecnología deja de funcionar, sino porque las personas nunca confían plenamente en los sistemas autónomos.
Esta ralentización no tiene por qué ocurrir. Nuestra encuesta muestra una clara diferencia: muchas organizaciones ven beneficios tempranos gracias a la IA autónoma, pero aquellas con una gobernanza más sólida tienen muchas más probabilidades de convertir esos beneficios en resultados a largo plazo, como una mayor eficiencia y un crecimiento de los ingresos. La diferencia clave no radica en la ambición ni en las habilidades técnicas, sino en la preparación.
Una buena gobernanza no limita la autonomía. La hace viable al aclarar quién toma las decisiones, cómo se supervisa el funcionamiento de los sistemas y cuándo deben intervenir las personas. La guía internacional de la OCDE (Organización para la Cooperación y el Desarrollo Económicos) enfatiza este punto: la rendición de cuentas y la supervisión humana deben integrarse en los sistemas de IA desde el principio, no añadirse posteriormente.
En lugar de frenar la innovación, la gobernanza genera la confianza que las organizaciones necesitan para ampliar la autonomía en lugar de reducirla discretamente.
La próxima ventaja es una gobernanza más inteligente
La próxima ventaja competitiva en IA no provendrá de una adopción más rápida, sino de una gobernanza más inteligente. A medida que los sistemas autónomos asumen mayor responsabilidad, el éxito corresponderá a las organizaciones que definen claramente la propiedad, la supervisión y la intervención desde el principio.
En la era de la IA con agentes, la confianza recaerá en las organizaciones que gobiernen mejor, no solo en las que adopten primero.
*Murugan Anandarajan es profesor de Ciencias de la Decisión y Sistemas de Información de Gestión en la Universidad de Drexel.
Este texto fue publicado originalmente en The Conversation
¿Te gusta informarte por Google News? Sigue nuestro Showcase para tener las mejores historias.
