¿Quién asumirá la culpa de los errores de la IA y qué se puede hacer al respecto?
Marina Tosic, 8 de mayo de 2025
Cuando las seis alegres asesinas de la cárcel del condado de Cook subieron al escenario en el musical de Chicago, estaban alineadas en el mensaje :
Se lo merecían, se lo merecían desde el principio.Yo no lo hice.Pero si lo hubiera hecho, ¿cómo podrían decirme que estaba equivocado?
Y la parte de la canción que me pareció interesante fue el replanteamiento de sus acciones violentas a través de su lente moral: “ Fue un asesinato, pero no un crimen ” .
En resumen, el musical cuenta una historia de avaricia, asesinato, injusticia y conspiraciones para culpar a otros que se desarrollan en un mundo donde la verdad es manipulada por los medios de comunicación, abogados inteligentes y la fascinación pública por el escándalo.
Al ser solo un observador entre el público, es fácil caer en las historias retratadas a través de los ojos de la víctima, que simplemente estaba respondiendo a situaciones intolerables.
Lógicamente, existe una explicación científica de por qué culpar a otros resulta satisfactorio. Atribuir eventos negativos a causas externas (otras personas o situaciones) activa regiones cerebrales asociadas con el procesamiento de recompensas . Si se siente bien, refuerza la conducta y la vuelve más automática.
Este interesante juego de culpar a otros está en el escenario de la vida actual, donde los humanos también pueden empezar a denunciar las herramientas impulsadas por los LLM por las malas decisiones y resultados en la vida. Probablemente recurriendo al argumento de…
Diferencias artísticas
Sabiendo cómo las diferencias (artísticas o no) nos llevan a justificar nuestras malas acciones y a echar la culpa a otros, es de sentido común asumir que haremos lo mismo con la IA.
«Es culpa de la IA, no mía.,«Revela un patrón en cómo los humanos atribuyen la culpa dependiendo de quién está involucrado y cómo está involucrado.
La investigación exploró dos preguntas clave:
- (1) ¿Culparíamos más a la IA si viéramos que tiene cualidades similares a las humanas?
- (2) ¿Y esto reduciría convenientemente la culpa de los actores humanos (programadores, equipos, empresa, gobiernos)?
A través de tres estudios realizados a principios de 2022, antes del inicio oficial de la era de la IA generativa a través de la interfaz de usuario, la investigación examinó cómo los humanos distribuyen la culpa cuando los sistemas de IA cometen transgresiones morales, como mostrar sesgo racial, exponer a los niños a contenido inapropiado o distribuir injustamente recursos médicos y encontró lo siguiente:
Cuando se representó a la IA con capacidades mentales más parecidas a las humanas, los participantes estaban más dispuestos a señalar al sistema de IA por sus fallas morales.
Otros hallazgos fueron que no todos los agentes humanos recibieron menos culpa:
- Las empresas se beneficiaron más de este juego de echar culpas, recibiendo menos culpa cuando la IA parecía más humana.
- Mientras tanto, los programadores de IA, los equipos y los reguladores gubernamentales no experimentaron una reducción de la culpa, independientemente de cuán parecida a la mente pareciera la IA.
Y probablemente el descubrimiento más importante:
En todos los escenarios, la IA recibió consistentemente un porcentaje menor de culpa en comparación con los agentes humanos, y el programador de IA o el equipo de IA cargaron con la mayor parte de la culpa .
¿Cómo se explicaron estos hallazgos?
La investigación sugirió que se trata de roles percibidos y claridad estructural:
- Las empresas con sus estructuras complejas y a menudo opacas se benefician de una menor responsabilidad cuando la IA se asemeja más a la humana. Pueden distanciarse más fácilmente de los fallos de la IA y atribuir la culpa al sistema de IA aparentemente autónomo.
- Los programadores , con su participación técnica directa en la creación de las funciones de la IA, mantuvieron una firme responsabilidad independientemente de la antropomorfización de la IA. Su influencia en la arquitectura de toma de decisiones del sistema les hace prácticamente imposible afirmar que «la IA actuó de forma independiente».
- Las entidades gubernamentales con sus funciones de supervisión regulatoria mantuvieron niveles de culpa estables (aunque más bajos en general), ya que sus responsabilidades de monitoreo de los sistemas de IA permanecieron claras independientemente de cuán parecida a la humana pareciera la IA.
Esta “ búsqueda de chivos expiatorios morales ” sugiere que la responsabilidad corporativa podría disolverse cada vez más a medida que los sistemas de IA parezcan más autónomos y parecidos a los humanos.
Ahora dirías, esto es…
Todas esas tonterías
La búsqueda de chivos expiatorios y la culpabilización de otros ocurren cuando hay mucho en juego, y a los medios de comunicación generalmente les gusta colocar un gran titular con el villano:
- Abogados de Nueva York sancionados por usar casos falsos de ChatGPT en un escrito judicial .
- El chatbot de Cursor AI inventa una política falsa y provoca la indignación de los desarrolladores .
- Una mujer griega se divorcia de su marido después de que ChatGPT «predijera» que la engañaría .
Con todos estos títulos, se puede culpar instantáneamente al usuario final o al desarrollador por falta de conocimiento sobre cómo se construyen las nuevas herramientas (¡sí, herramientas !) y cómo se deben usar, implementar o probar, pero nada de esto ayuda cuando el daño ya está hecho y alguien debe rendir cuentas por ello.
Hablando de responsabilidad, no puedo pasar por alto la Ley de IA de la UE y su marco regulatorio que pone en apuros a los proveedores , implementadores e importadores de IA , al establecer cómo:
“Los usuarios (implementadores) de sistemas de IA de alto riesgo tienen algunas obligaciones, aunque menores que las de los proveedores (desarrolladores)”.
Así, entre otras cosas, la Ley explica diferentes clases de sistemas de IA y clasifica los sistemas de IA de alto riesgo como aquellos utilizados en áreas críticas como la contratación, los servicios esenciales, la aplicación de la ley, la migración, la administración de justicia y los procesos democráticos.
Para estos sistemas, los proveedores deben implementar un sistema de gestión de riesgos que identifique, analice y mitigue los riesgos durante todo el ciclo de vida del sistema de IA.
Esto se extiende a un sistema obligatorio de gestión de calidad que abarca el cumplimiento normativo, los procesos de diseño, las prácticas de desarrollo, los procedimientos de prueba, la gestión de datos y el seguimiento poscomercialización. Debe incluir un marco de rendición de cuentas que establezca las responsabilidades de la dirección y del resto del personal .
Por otro lado, quienes implementan sistemas de IA de alto riesgo deben implementar medidas técnicas apropiadas, garantizar la supervisión humana, monitorear el desempeño del sistema y, en ciertos casos, realizar evaluaciones de impacto sobre los derechos fundamentales .
Para colmo, las sanciones por incumplimiento pueden suponer una multa de hasta 35 millones de euros o el 7 % de la facturación anual global.
Quizás ahora pienses: “ Estoy libre de responsabilidades… solo soy el usuario final y todo esto no es asunto mío ”, pero déjame recordarte los titulares ya existentes arriba, donde ningún abogado podría deslumbrar a un juez para que crea que es inocente por usar IA en una situación laboral que afectó gravemente a otras partes.
Ahora que hemos aclarado esto, analicemos cómo todos pueden contribuir al círculo de responsabilidad de la IA.
Cuando eres bueno con la IA, la IA es buena contigo
La verdadera responsabilidad en el proceso de IA requiere el compromiso personal de todos los involucrados y, con esto, lo mejor que puede hacer es:
- Infórmese sobre la IA: En lugar de confiar ciegamente en las herramientas de IA, aprenda primero cómo están diseñadas y qué tareas pueden resolver . Usted también puede clasificar sus tareas en diferentes niveles de criticidad y comprender dónde es crucial que las realicen personas, y dónde la IA puede intervenir con intervención humana o de forma independiente.
- Desarrolla un sistema de pruebas : Crea listas de verificación personales para contrastar los resultados de IA con otras fuentes antes de actuar en consecuencia. Cabe mencionar que un buen enfoque es contar con más de una técnica de prueba y más de un tester humano. (¿Qué puedo decir? ¡La culpa es de las buenas prácticas de desarrollo !).
- Cuestione los resultados (siempre, incluso con el sistema de prueba) : antes de aceptar las recomendaciones de IA, pregúntese «¿Qué tan seguro estoy de este resultado?» y «¿Qué es lo peor que podría pasar si esto es incorrecto y quién se verá afectado?»
- Documente su proceso : Mantenga registros de cómo utilizó las herramientas de IA, qué información proporcionó y qué decisiones tomó con base en los resultados. Si siguió todo al pie de la letra y los procesos, la documentación del proceso de toma de decisiones con IA será una prueba fundamental.
- Exprese sus inquietudes : Si observa patrones problemáticos en las herramientas de IA que utiliza, repórtelos a los agentes humanos pertinentes. Guardar silencio sobre el mal funcionamiento de los sistemas de IA no es una buena estrategia, incluso si usted mismo ha causado parte del problema. Sin embargo, reaccionar a tiempo y asumir la responsabilidad es el camino a largo plazo hacia el éxito.
Finalmente, recomiendo familiarizarse con la normativa para comprender sus derechos y responsabilidades. Ningún marco normativo puede cambiar el hecho de que las decisiones de la IA tienen una huella humana y que los humanos considerarán a otros humanos, no a las herramientas, responsables de los errores de la IA.
A diferencia de las asesinas ficticias del musical de Chicago, que bailaban para culpar a los demás, en los fallos reales de la IA, el rastro de evidencia no desaparecerá con un abogado inteligente y una historia superficial.
https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2Fz5EZNPUJYXc%3Ffeature%3Doembed&display_name=YouTube&url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3Dz5EZNPUJYXc&image=https%3A%2F%2Fi.ytimg.com%2Fvi%2Fz5EZNPUJYXc%2Fhqdefault.jpg&type=text%2Fhtml&schema=youtube
Este blog se publicó originalmente en la publicación Towards Data Science .
