No basta con que funcione: hay que justificar qué se automatiza y bajo qué condiciones
Que un sistema de IA funcione correctamente y cumpla las obligaciones que le resulten aplicables no resuelve por sí solo una pregunta anterior: ¿por qué debería intervenir en esa decisión? La regulación establece requisitos sobre finalidad, riesgos, supervisión y responsabilidades en función del sistema y de su contexto de uso. Pero corresponde a cada organización examinar si automatizar esa decisión responde a una necesidad justificable, qué efectos está dispuesta a asumir y cómo convertirá sus obligaciones y compromisos en capacidad efectiva de actuar. Es en esa transición (del cumplimiento a la decisión responsable) donde aparecen muchas de las dificultades reales del despliegue.
El problema se hace especialmente visible al pasar del piloto al uso real. Decisiones que parecían técnicas empiezan entonces a exigir criterios para resolver tensiones entre objetivos, intereses y posibles impactos, además de responsables con capacidad efectiva para actuar. Es ahí donde los principios dejan de bastar como declaración y deben ayudar a orientar decisiones concretas.
Los principios orientan; los casos reales obligan a decidir
Cuando GenAiA nació a finales de 2023 (GenAiA, 2023)(1), comenzamos a articular nuestro trabajo sobre ética de la IA. El primer paso fue identificar principios compartidos y acercarlos a las organizaciones. Los casos concretos mostraron pronto el límite de ese punto de partida: invocar autonomía, equidad, transparencia o supervisión humana ayuda a orientar una decisión, pero no determina cómo actuar en una situación específica.
Decir que «habrá supervisión humana» puede describir una garantía efectiva o limitarse a una previsión formal. Su eficacia depende de las condiciones en las que se ejerce: que quien supervisa disponga de información, formación y tiempo suficientes, comprenda las capacidades y limitaciones del sistema y tenga autoridad real para cuestionar su resultado o intervenir cuando sea necesario. Para los sistemas de alto riesgo, el Reglamento de IA incorpora expresamente varias de estas exigencias y requiere una supervisión humana efectiva y proporcionada al riesgo, al nivel de autonomía y al contexto de uso (Regulation (EU) 2024/1689, art. 14)(2). Pero establecer la supervisión como requisito no asegura por sí solo que funcione en la práctica, como también ha señalado la investigación sobre supervisión algorítmica (Green, 2022). Este ejemplo ilustra un problema más amplio: la aplicación efectiva de principios y requisitos depende también de las condiciones técnicas, sociales y organizativas en las que opera el sistema (Mittelstadt, 2019; Selbst et al., 2019).
Los marcos existen; el reto es hacerlos operativos
Ya existen marcos que abordan distintas dimensiones de este problema. En el plano internacional, la UNESCO y la OCDE han formulado principios y recomendaciones para orientar el desarrollo y uso responsable de la IA, incorporando cuestiones como los derechos humanos, la dignidad, la autonomía y la responsabilidad (OECD, 2024(3); UNESCO, 2021(4)). En el ámbito europeo, las Directrices para una IA fiable articulan la relación entre legalidad, ética y robustez, mientras ALTAI traduce ese enfoque en una herramienta de autoevaluación (European Commission, 2019(5), 2020(6)). Desde una perspectiva organizativa, el Modelo PIO propone operacionalizar principios mediante indicadores y observables, y su actualización de 2025 los relaciona con obligaciones y derechos del marco europeo (Sabater Coll & de Manuel, 2022; Lillo Campoy et al., 2025).
Otros marcos trasladan estas orientaciones a la gobernanza, la gestión del riesgo y la evaluación de impactos. El NIST AI RMF 1.0 estructura la gestión del riesgo de la IA en cuatro funciones (gobernar, mapear, medir y gestionar) que permiten integrar el análisis técnico y organizativo a lo largo del ciclo de vida del sistema (NIST, 2023(7)). En paralelo, ISO/IEC 42001 establece requisitos para un sistema de gestión de IA, mientras ISO/IEC 42005 proporciona orientación para evaluar los posibles efectos de un sistema sobre personas, grupos y sociedad (ISO, 2023(8), 2025(9)).
El reto no es reemplazar estos instrumentos, sino integrarlos de forma coherente en las decisiones de gobernanza de cada caso. Las Model Cards supusieron un avance importante en la documentación de usos, métricas y limitaciones de los modelos (Mitchell et al., 2019). Sin embargo, un análisis de 32.111 fichas mostró que los apartados sobre limitaciones, evaluación e impacto ambiental seguían entre los menos completados (Liang et al., 2024). Incluso una documentación extensa puede dejar sin resolver quién debe intervenir, con qué autoridad y qué respuesta se activa cuando aparece un daño.
La decisión de automatizar no pertenece a una sola disciplina
La filosofía y la ética ayudan a examinar si la necesidad que se pretende atender justifica la intervención de la IA, quién puede beneficiarse o quedar excluido y qué decisiones conviene no delegar. El derecho delimita lo jurídicamente admisible y establece las obligaciones, derechos y garantías, especialmente cuando la innovación puede afectar a derechos fundamentales (Eguíluz et al., 2025). Las matemáticas y la ingeniería aportan evidencia sobre propiedades que pueden definirse y evaluarse técnicamente, desde la representación de la incertidumbre (Aldomà et al., 2026) hasta el análisis causal de las explicaciones (Parafita et al., 2025), además de diferencias entre grupos o cambios de contexto. La gobernanza articula estas perspectivas en roles, procedimientos de decisión y capacidad efectiva de actuar.
No todo lo técnicamente posible merece automatizarse
Antes de desplegar un sistema, una organización debería poder responder a cinco preguntas:
- ¿Qué decisión se pretende automatizar y con qué propósito?
- ¿Qué parte de esa decisión resulta razonable delegar y cuál debería permanecer bajo juicio humano?
- ¿Quién puede beneficiarse o verse perjudicado?
- ¿Qué evidencia permitirá evaluar si el sistema sigue siendo adecuado para ese contexto?
- ¿Y qué condiciones deberían llevar a revisar, limitar o suspender su uso?
Estas preguntas solo adquieren valor cuando sus respuestas pueden justificarse y, cuando corresponda, contrastarse con evidencia. Pero no todas se responden del mismo modo. Algunas contienen juicios normativos (qué finalidad es justificable, qué efectos resultan aceptables o qué parte de una decisión conviene no delegar); otras requieren además evidencia empírica y técnica sobre el comportamiento del sistema. La evidencia técnica no decide por sí sola qué merece automatizarse, del mismo modo que una finalidad justificable no basta si no puede evaluarse cómo funciona el sistema en la práctica.
Esta distinción cobra especial importancia cuando la IA pasa del piloto al uso real. Un sistema puede ofrecer buenos resultados en pruebas y, sin embargo, su incorporación a un proceso puede no estar suficientemente justificada si la organización no ha definido bajo qué condiciones su uso sigue siendo adecuado y qué señales obligan a revisarlo. La pérdida de confianza y, en algunos casos, el daño reputacional, puede ser entonces la manifestación visible de un problema anterior: no haber conectado propósito, evidencia y capacidad de intervención.
El reto no es exclusivo de las grandes organizaciones. Aunque cambien los recursos, la complejidad y las obligaciones aplicables, nuestra experiencia con empresas de distintos tamaños y niveles de madurez muestra una dificultad recurrente: convertir principios en criterios de decisión, evidencia pertinente y mecanismos de revisión que funcionen en la práctica. Desde el Think Tank de Regulación y Ética de la IA de GenAiA defendemos que la confianza no se declara en una nota de prensa, se demuestra en el diseño del procedimiento y en la capacidad efectiva de responder.
La pregunta final, por tanto, no es solo si el sistema funciona. Si mañana cambiara el contexto o alguien cuestionara sus efectos, ¿podría la organización explicar por qué sigue siendo razonable utilizarlo, qué evidencia sostiene esa decisión y qué condiciones harían necesario reconsiderarlo?
Autores
Axel Brando
Matemático e ingeniero informático especializado en Trustworthy AI. Co-líder del Think Tank de Regulación y Ética de la IA de GenAiA – LinkedIn
Eva Fonseca López
Especialista senior en tecnologías de la información. Co-líder del Think Tank de Regulación y Ética de la IA de GenAiA – LinkedIn
Referencias
(1) GenAiA. (2023, November 28). GenAiA, the first Generative AI Association led by the Spanish entrepreneurial ecosystem, is launched. https://generativeaiassociation.org/articles/genaia-the-first-generative-ai-association-led-by-the-spanish-entrepreneurial-ecosystem-is-launched/
(2) European Parliament and Council of the European Union. (2024). Regulation (EU) 2024/1689 laying down harmonised rules on artificial intelligence. Official Journal of the European Union, L, 2024/1689.
(3) Organisation for Economic Co-operation and Development. (2024). OECD AI Principles. https://oecd.ai/en/ai-principles
(4) UNESCO. (2021). Recommendation on the ethics of artificial intelligence. https://www.unesco.org/en/legal-affairs/recommendation-ethics-artificial-intelligence
(5) European Commission, High-Level Expert Group on Artificial Intelligence. (2019). Ethics guidelines for trustworthy AI. European Commission. https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai
(6) European Commission, High-Level Expert Group on Artificial Intelligence. (2020). Assessment list for trustworthy artificial intelligence (ALTAI) for self-assessment. European Commission. https://digital-strategy.ec.europa.eu/en/library/assessment-list-trustworthy-artificial-intelligence-altai-self-assessment
(7) National Institute of Standards and Technology. (2023). Artificial Intelligence Risk Management Framework (AI RMF 1.0) (NIST AI 100-1). U.S. Department of Commerce. https://doi.org/10.6028/NIST.AI.100-1
(8) International Organization for Standardization. (2023). ISO/IEC 42001:2023: Information technology—Artificial intelligence—Management system. https://www.iso.org/standard/42001
(9) International Organization for Standardization. (2025). ISO/IEC 42005:2025: Information technology—Artificial intelligence—AI system impact assessment. https://www.iso.org/standard/42005
Aldomà, A., Gurbindo González, U., & Brando, A. (2026). Position: Predictive uncertainty is not enough—Joint distribution for full uncertainty representation [Position paper accepted at the 43rd International Conference on Machine Learning]. https://icml.cc/virtual/2026/poster/67233
Eguíluz, J., Brando, A., Laukyte, M., & Serra-Vidal, M. (2025). Position: If innovation in AI systematically violates fundamental rights, is it innovation at all? Advances in Neural Information Processing Systems, 38, Position Paper Track. https://proceedings.neurips.cc/paper_files/paper/2025/hash/1ae5c1db7569a6c2f395020765b119a4-Abstract-Position_Paper_Track.html
Green, B. (2022). The flaws of policies requiring human oversight of government algorithms. Computer Law & Security Review, 45, 105681. https://doi.org/10.1016/j.clsr.2022.105681
Liang, W., Rajani, N., Yang, X., Ozoani, E., Wu, E., Chen, Y., Smith, D. S., & Zou, J. (2024). Systematic analysis of 32,111 AI model cards characterizes documentation practice in AI. Nature Machine Intelligence, 6, 744–753. https://doi.org/10.1038/s42256-024-00857-z
Lillo Campoy, A., Brufau i Centelles, A., & Sabater i Coll, A. (2025). El Modelo PIO Obligaciones y Derechos: Un enfoque de autoevaluación para el cumplimiento de la regulación en datos y sistemas de IA en el marco de la Unión Europea. Observatori d’Ètica en Intel·ligència Artificial de Catalunya, Universitat de Girona.
Mitchell, M., Wu, S., Zaldivar, A., Barnes, P., Vasserman, L., Hutchinson, B., Spitzer, E., Raji, I. D., & Gebru, T. (2019). Model cards for model reporting. In Proceedings of the Conference on Fairness, Accountability, and Transparency (pp. 220–229). Association for Computing Machinery. https://doi.org/10.1145/3287560.3287596
Mittelstadt, B. (2019). Principles alone cannot guarantee ethical AI. Nature Machine Intelligence, 1, 501–507. https://doi.org/10.1038/s42256-019-0114-4
Parafita, Á., Garriga, T., Brando, A., & Cazorla, F. J. (2025). Practical do-Shapley explanations with estimand-agnostic causal inference. Advances in Neural Information Processing Systems, 38.
Sabater Coll, A., & de Manuel, A. (2022). El modelo PIO (Principios, Indicadores y Observables): Una propuesta de autoevaluación organizativa sobre el uso ético de datos y sistemas de inteligencia artificial. Observatori d’Ètica en Intel·ligència Artificial de Catalunya, Universitat de Girona.
Selbst, A. D., boyd, d., Friedler, S. A., Venkatasubramanian, S., & Vertesi, J. (2019). Fairness and abstraction in sociotechnical systems. In Proceedings of the Conference on Fairness, Accountability, and Transparency (pp. 59–68). Association for Computing Machinery. https://doi.org/10.1145/3287560.3287598