“¿Y SI UNA MÁQUINA DECIDE TU VIDA?”

La inteligencia artificial ofrece grandes beneficios, pero también plantea importantes desafíos jurídicos y éticos. La responsabilidad no debe atribuirse a la máquina, sino a las personas, empresas e instituciones que diseñan, implementan o utilizan estos sistemas.

Perú y México enfrentan el reto de lograr un equilibrio entre innovación tecnológica y protección de los derechos fundamentales. Para ello, se necesitan transparencia, supervisión, protección de datos, mecanismos de impugnación y responsables claramente identificados.

La inteligencia artificial puede ser eficiente, pero esa eficiencia nunca debe estar por encima de la dignidad, la igualdad y los derechos fundamentales de las personas.

 

I. Introducción: cuando el algoritmo comienza a decidir sobre nosotros

Sin embargo, la inteligencia artificial (IA) ha dejado de ser una tecnología limitada al ámbito científico para convertirse en una herramienta que interviene progresivamente en decisiones que afectan la vida cotidiana de las personas. Actualmente, los sistemas de IA pueden participar en procesos relacionados con el acceso al crédito, la selección de trabajadores, la publicidad, la educación, la seguridad, los servicios públicos y el tratamiento de grandes cantidades de información. Esta expansión ofrece importantes oportunidades para mejorar la eficiencia y generar desarrollo; sin embargo, también plantea una pregunta que el Derecho ya no puede seguir postergando: ¿qué sucede cuando una decisión tomada o influenciada por un algoritmo perjudica los derechos de una persona y nadie quiere asumir la responsabilidad por sus consecuencias?

El problema adquiere especial relevancia porque la inteligencia artificial puede producir decisiones que aparentan ser objetivas únicamente por haber sido generadas por una máquina. Sin embargo, los sistemas de IA son diseñados, entrenados, implementados y utilizados por seres humanos. Sus resultados dependen de los datos con los que son desarrollados, de los objetivos que se les asignan y de los criterios establecidos por quienes los utilizan. Por ello, considerar que una decisión es necesariamente justa porque proviene de un algoritmo constituye una peligrosa simplificación. La UNESCO ha advertido que los sistemas de IA pueden reproducir y amplificar sesgos, amenazar derechos humanos y profundizar desigualdades existentes. Frente a ello, su Recomendación sobre la Ética de la Inteligencia Artificial establece como principios fundamentales la transparencia, la equidad, la protección de los datos personales, la responsabilidad, la rendición de cuentas y la supervisión humana.

En este contexto surge uno de los principales problemas jurídicos de la denominada era algorítmica: la atribución de responsabilidad. Si una persona es rechazada injustamente para obtener un crédito debido a un sistema automatizado, si un trabajador es excluido de un proceso de selección por un algoritmo o si una decisión administrativa basada en inteligencia artificial vulnera un derecho fundamental, no resulta suficiente afirmar que “la decisión la tomó el sistema”. Una máquina no puede convertirse en el sujeto al que se traslade la responsabilidad jurídica para evitar identificar a quienes diseñaron, proporcionaron, implementaron o utilizaron dicha tecnología. Precisamente, la UNESCO sostiene que la responsabilidad y la rendición de cuentas deben mantenerse vinculadas a los actores humanos a lo largo del ciclo de vida de los sistemas de IA.

El desafío resulta particularmente interesante cuando se compara la situación de Perú y México. En el caso peruano, el Estado ya ha establecido un marco jurídico específico mediante la Ley N.° 31814, orientada a promover el uso de la inteligencia artificial en favor del desarrollo económico y social, y posteriormente mediante su reglamentación. Por ello, el debate peruano ya no puede limitarse a preguntar si es necesario regular la IA, sino que debe avanzar hacia una cuestión más exigente: ¿la regulación existente es realmente capaz de prevenir abusos, proteger derechos y determinar responsabilidades cuando la inteligencia artificial produce consecuencias perjudiciales?

México presenta un escenario igualmente relevante, aunque con características diferentes, debido al debate legislativo y jurídico en torno a la construcción de un marco regulatorio para la inteligencia artificial. En este caso, la discusión gira alrededor de cómo encontrar un equilibrio entre innovación tecnológica, desarrollo económico, protección de derechos humanos, transparencia y responsabilidad. Esto permite establecer una comparación particularmente útil: mientras Perú cuenta con un marco normativo específico que debe demostrar su eficacia en la práctica, México enfrenta el desafío de consolidar un modelo regulatorio que no frene la innovación, pero que tampoco permita que el desarrollo tecnológico avance a costa de los derechos de las personas.

El problema, por tanto, no es simplemente determinar si la inteligencia artificial es buena o mala. Esa discusión resulta demasiado superficial para el Derecho. La verdadera cuestión consiste en determinar qué límites jurídicos y éticos deben imponerse a quienes desarrollan y utilizan sistemas capaces de influir o tomar decisiones que afectan a otras personas. La eficiencia tecnológica no puede convertirse en una justificación para sacrificar derechos fundamentales. Del mismo modo, la innovación no debería utilizarse como argumento para crear espacios de irresponsabilidad donde una empresa, una institución o un funcionario pueda evadir las consecuencias de una decisión alegando que fue producida por un algoritmo.

Desde esta perspectiva, el presente ensayo sostiene que la regulación de la inteligencia artificial es indispensable, pero resulta insuficiente si no está acompañada de mecanismos efectivos de transparencia, explicabilidad, supervisión humana, protección de datos, auditoría y atribución de responsabilidad. Tanto en Perú como en México, el verdadero desafío consiste en evitar que la inteligencia artificial se convierta en una herramienta para diluir la responsabilidad jurídica o reproducir desigualdades bajo la apariencia de decisiones objetivas y tecnológicamente neutrales.

En consecuencia, la pregunta que orienta este análisis es la siguiente:

¿Quién debe responder cuando una decisión basada en inteligencia artificial vulnera los derechos de una persona: el creador del algoritmo, la empresa que lo utiliza, la institución que toma la decisión o el propio sistema de inteligencia artificial?

La respuesta a esta interrogante permitirá analizar no solamente los límites jurídicos de la inteligencia artificial, sino también la relación entre Derecho, ética, poder tecnológico y responsabilidad humana en sociedades como la peruana y la mexicana.

El verdadero peligro no consiste en que la inteligencia artificial llegue a sustituir al ser humano, sino en que el ser humano utilice la inteligencia artificial para sustituir su propia responsabilidad.

 

II. La inteligencia artificial como nuevo escenario de poder

La inteligencia artificial no debe ser entendida únicamente como una herramienta tecnológica destinada a facilitar determinadas actividades humanas. Su verdadera dimensión comienza a comprenderse cuando se observa que sus sistemas pueden intervenir en decisiones que afectan directamente la vida, las oportunidades y los derechos de las personas. Actualmente, la IA puede utilizarse en ámbitos como la contratación laboral, la concesión de créditos, los seguros, la publicidad, la educación, la seguridad, la administración pública, la salud, la justicia y el tratamiento de datos personales. La OCDE reconoce precisamente que la inteligencia artificial puede generar importantes beneficios económicos y sociales, pero también plantea riesgos relacionados con la privacidad, la seguridad de los datos, la discriminación, la desinformación y otros derechos fundamentales.

Esta transformación obliga al Derecho a modificar su manera tradicional de observar el poder. Durante mucho tiempo, el poder se ha relacionado principalmente con el Estado, las instituciones políticas, las empresas y las personas que ocupan posiciones de autoridad. Sin embargo, la expansión de la inteligencia artificial introduce una nueva dimensión: el poder de decidir mediante datos y algoritmos. Quien posee grandes cantidades de información, controla la infraestructura tecnológica o determina los criterios con los que funciona un algoritmo puede influir en decisiones que afectan a millones de personas.

Por ejemplo, una empresa puede utilizar inteligencia artificial para seleccionar trabajadores. Un banco puede emplearla para evaluar el riesgo de un cliente. Una aseguradora puede utilizar sistemas automatizados para determinar determinadas condiciones de sus servicios. Una institución pública puede apoyarse en algoritmos para clasificar información o identificar determinados riesgos. En todos estos casos, la IA deja de ser simplemente una herramienta de apoyo y comienza a adquirir una capacidad de influencia sobre las oportunidades de las personas.

Aquí aparece una cuestión fundamental para el Derecho: ¿quién controla a quienes controlan los algoritmos?

La pregunta no es exagerada. La OCDE establece que los sistemas de IA deben respetar los derechos humanos y los valores democráticos, incluyendo la privacidad, la igualdad, la dignidad, la autonomía y la no discriminación. Asimismo, sus principios destacan la transparencia y la explicabilidad, de manera que las personas afectadas puedan comprender, en la medida apropiada al contexto, los factores que condujeron a una predicción, recomendación o decisión, y puedan cuestionar sus resultados cuando estos les perjudiquen.

Esto significa que el problema jurídico no consiste solamente en saber cómo funciona la inteligencia artificial, sino en determinar quién tiene la capacidad de utilizarla para tomar decisiones sobre otras personas y bajo qué límites puede hacerlo.

2.1. Del poder tradicional al poder algorítmico

El poder tradicional generalmente puede ser identificado. Sabemos quién firma una resolución, quién dicta una sentencia, quién aprueba una norma o quién toma una decisión administrativa. En consecuencia, también podemos determinar quién debe responder por ella.

El poder algorítmico presenta una dificultad adicional.

Una decisión puede surgir de un sistema que analiza enormes cantidades de datos y produce una recomendación o clasificación que posteriormente es utilizada por una empresa o institución. La persona afectada puede conocer el resultado, pero no necesariamente comprender los factores que lo produjeron.

Esto genera una situación preocupante:

La persona puede ser afectada por una decisión, pero desconocer quién decidió realmente.

¿Fue la empresa?

¿Fue el programador?

¿Fue el sistema?

¿Fue el conjunto de datos?

¿Fue el funcionario que confió en la recomendación?

Esta dificultad es precisamente la razón por la que la transparencia, la trazabilidad y la responsabilidad adquieren tanta importancia. La OCDE señala que los actores de IA deben asumir responsabilidad por el adecuado funcionamiento de los sistemas y por el respeto de los principios aplicables, además de mantener mecanismos de trazabilidad sobre datos, procesos y decisiones a lo largo del ciclo de vida del sistema.

Por tanto, la tecnología no puede convertirse en una barrera que impida identificar al responsable.

 

2.2. El poder de los datos

El poder de la inteligencia artificial está estrechamente relacionado con otro elemento: los datos.

Un sistema de IA necesita información para funcionar. Mientras mayor sea la cantidad y calidad de los datos disponibles, mayor puede ser la capacidad del sistema para identificar patrones, realizar predicciones y producir recomendaciones.

Esto genera una nueva forma de poder:

quien controla los datos puede adquirir una capacidad extraordinaria para conocer, clasificar y predecir comportamientos humanos.

El problema jurídico aparece cuando las personas entregan información sobre sí mismas sin comprender completamente cómo será utilizada.

Datos sobre:

• hábitos de consumo;
• ubicación;
• historial financiero;
• preferencias;
• actividad laboral;
• comportamiento en internet;
• fotografías;
• relaciones;
• intereses personales.

pueden ser procesados y combinados para producir perfiles.

La pregunta entonces deja de ser solamente:

“¿Qué datos tiene una empresa sobre mí?”

y pasa a ser:

“¿Qué puede inferir una empresa sobre mí utilizando todos esos datos?”

Esta diferencia es fundamental.

Una persona puede proporcionar voluntariamente determinados datos, pero no necesariamente conoce todas las conclusiones que un sistema de IA puede obtener a partir de ellos.

Por ello, la protección de datos personales adquiere una dimensión mucho más compleja en la era de la inteligencia artificial.

 

2.3. La ilusión de la neutralidad tecnológica

Uno de los mayores errores consiste en creer que una decisión tomada por una máquina es necesariamente objetiva.

Una máquina no tiene prejuicios personales como los tiene un ser humano, pero puede reproducir los prejuicios existentes en los datos con los que fue entrenada o en las decisiones que orientaron su diseño.

UNESCO advierte precisamente que los sistemas de IA pueden reproducir y amplificar sesgos existentes y profundizar desigualdades. Por ello, su enfoque ético coloca en el centro la dignidad humana, los derechos fundamentales, la transparencia, la equidad, la protección de datos y la supervisión humana.

Esto nos lleva a una afirmación importante:

La inteligencia artificial no necesariamente elimina los prejuicios humanos; puede convertirlos en decisiones automatizadas y, por ello, más difíciles de detectar.

Aquí aparece una diferencia importante.

Una persona que discrimina puede ser cuestionada directamente.

Pero cuando la discriminación aparece como resultado de un algoritmo, la explicación puede parecer más difícil:

“El sistema calculó que este candidato tenía menor probabilidad de éxito.”

La frase parece objetiva.

Sin embargo, el Derecho debe preguntar:

¿Con qué datos se calculó?

¿Qué criterios utilizó?

¿Existían sesgos en esos datos?

¿Quién diseñó esos criterios?

¿Quién verificó el resultado?

La aparente neutralidad tecnológica no puede convertirse en una presunción de justicia.

 

2.4. El problema de la “caja negra”

La situación se vuelve todavía más preocupante cuando el funcionamiento de un sistema resulta difícil de explicar incluso para quienes lo utilizan.

Aquí aparece el conocido problema de la “caja negra”: conocemos la información que ingresa y observamos el resultado que produce el sistema, pero puede ser difícil comprender de manera suficiente el proceso que llevó a determinada conclusión.

Desde una perspectiva tecnológica, esto puede ser un problema de complejidad.

Desde una perspectiva jurídica, puede convertirse en un problema de derechos.

Si una decisión automatizada afecta a una persona, esta debería poder conocer, según el contexto y el nivel de impacto, las razones relevantes de esa decisión y tener la posibilidad de cuestionarla. Tanto la OCDE como UNESCO vinculan la transparencia y la explicabilidad con la posibilidad de impugnar decisiones y con la responsabilidad de quienes intervienen en el ciclo de vida de los sistemas de IA.

Por ello, podemos plantear una pregunta especialmente fuerte:

¿Puede considerarse justa una decisión que afecta los derechos de una persona cuando ni siquiera esa persona puede conocer las razones que llevaron a tomarla?

Desde el punto de vista del Estado de Derecho, aceptar sin cuestionamiento este tipo de decisiones sería peligroso.

 

2.5. La inteligencia artificial y la concentración del poder

Existe además un problema económico y político.

El desarrollo de sistemas avanzados de IA requiere grandes cantidades de datos, infraestructura tecnológica, capacidad informática, conocimiento especializado y recursos económicos. Esto significa que el acceso a las capacidades más avanzadas de inteligencia artificial no necesariamente está distribuido de manera igualitaria.

Las grandes empresas tecnológicas pueden disponer de recursos que están fuera del alcance de pequeñas empresas, instituciones públicas o ciudadanos comunes.

Esto genera una posible concentración de poder:

quienes poseen los datos y la tecnología pueden influir sobre quienes simplemente utilizan sus sistemas.

Y aquí el Derecho vuelve a tener una función histórica:

limitar el poder cuando ese poder puede afectar la libertad y los derechos de las personas.

El problema del siglo XXI podría, por tanto, no ser únicamente quién tiene el poder, sino:

quién tiene el poder de decidir mediante algoritmos.

Esta pregunta adquiere especial importancia en sociedades como Perú y México, donde la incorporación de nuevas tecnologías debe convivir con problemas preexistentes de desigualdad, acceso a servicios, protección de datos y capacidad institucional.

 

2.6. El límite ético: no todo lo que podemos hacer debemos hacerlo

Aquí aparece la relación entre Derecho y ética.

El Derecho establece límites jurídicamente exigibles. La ética plantea una cuestión adicional: qué deberíamos hacer incluso cuando técnicamente podemos hacerlo.

UNESCO sostiene que la inteligencia artificial debe desarrollarse desde un enfoque centrado en los derechos humanos y establece, entre otros principios, responsabilidad, transparencia, explicabilidad, supervisión humana, privacidad, equidad y no discriminación. Además, señala expresamente que los sistemas de IA no deben desplazar la responsabilidad y rendición de cuentas humanas.

Esto permite formular una diferencia fundamental:

La legalidad establece el mínimo que debemos respetar; la ética nos obliga a preguntarnos si ese mínimo es suficiente.

Una empresa puede preguntarse:

“¿Puedo utilizar estos datos?”

Pero debería preguntarse también:

“¿Es ético utilizar estos datos de esta manera?”

Un funcionario puede preguntarse:

“¿Puedo utilizar este algoritmo?”

Pero debería preguntarse:

“¿Qué consecuencias tendrá esta decisión sobre los derechos de las personas?”

Por ello, la ética no debe ser presentada como un complemento decorativo de la regulación tecnológica. Debe funcionar como un criterio para determinar qué usos de la IA son socialmente legítimos.

 

2.7. La pregunta que el Derecho ya no puede evitar

Llegados a este punto, el problema puede resumirse en una pregunta:

Si un algoritmo puede influir en quién consigue un empleo, quién obtiene un crédito, quién recibe determinado servicio o cómo una institución clasifica a una persona, ¿quién controla ese poder y quién responde cuando ese poder se utiliza incorrectamente?

La respuesta no puede ser:

“El algoritmo.”

Un algoritmo no debe convertirse en el nuevo responsable invisible de las decisiones humanas.

La responsabilidad debe permanecer vinculada a las personas, empresas e instituciones que desarrollan, proporcionan, implementan o utilizan estos sistemas, de acuerdo con sus funciones y con el marco jurídico aplicable. Esta idea coincide con el enfoque de la UNESCO sobre responsabilidad y rendición de cuentas durante todo el ciclo de vida de la IA.

Por eso, el verdadero desafío jurídico no consiste en detener la inteligencia artificial. Consiste en impedir que la inteligencia artificial se convierta en un nuevo espacio de poder sin control.

Y aquí podemos establecer el puente perfecto hacia el siguiente capítulo del ensayo:

Si la IA está adquiriendo capacidad para influir en decisiones que afectan derechos, el siguiente problema inevitable es determinar quién debe responder cuando esa decisión causa un daño.

 

III. El problema central: la responsabilidad jurídica frente a una decisión automatizada

 

La pregunta sobre quién debe responder por una decisión tomada mediante inteligencia artificial constituye probablemente uno de los problemas jurídicos más complejos de la transformación digital. El Derecho tradicional parte de una premisa relativamente sencilla: cuando una persona, empresa o institución causa un daño mediante una conducta jurídicamente reprochable, es posible identificar al responsable y exigirle las consecuencias correspondientes. Sin embargo, la inteligencia artificial introduce una cadena de intervención mucho más compleja, porque detrás de un resultado automatizado pueden existir múltiples actores, decisiones técnicas y conjuntos de datos.

Imaginemos que una empresa utiliza un sistema de inteligencia artificial para seleccionar trabajadores y el algoritmo rechaza sistemáticamente a determinados candidatos. O pensemos en un banco que emplea un sistema automatizado para evaluar solicitudes de crédito y clasifica a una persona como “alto riesgo”. También podría ocurrir que una institución pública utilice IA para determinar quién debe recibir determinado servicio, o que una herramienta genere información falsa que posteriormente ocasione un perjuicio económico.

En todos estos casos aparece la misma pregunta:

¿Quién responde cuando una decisión automatizada produce un daño?

La pregunta parece sencilla, pero la respuesta no lo es.

El principal peligro consiste en permitir que la complejidad tecnológica termine convirtiéndose en una forma de dilución de la responsabilidad. Una empresa podría culpar al proveedor; el proveedor podría culpar al desarrollador; el desarrollador podría señalar los datos utilizados para entrenar el sistema; y todos podrían terminar señalando al algoritmo como si este fuera un sujeto autónomo capaz de asumir responsabilidad.

Pero existe un principio que no debería perderse de vista:

La inteligencia artificial puede automatizar una decisión, pero no puede automatizar la responsabilidad.

3.1. ¿Quiénes pueden intervenir en una decisión automatizada?

Para determinar la responsabilidad es necesario identificar a los diferentes actores que participan en el ciclo de vida de un sistema de IA.

En primer lugar, se encuentra el desarrollador, es decir, quien diseña o crea el sistema. Dependiendo de las circunstancias, podría existir responsabilidad si el producto presenta defectos de diseño, fallas previsibles o características que generan riesgos que debieron ser identificados.

En segundo lugar, aparece el proveedor, que puede comercializar, distribuir o poner a disposición el sistema. Su posición jurídica puede ser distinta de la del desarrollador, especialmente cuando el proveedor adapta una tecnología para determinados usos.

En tercer lugar, está la empresa o institución usuaria, que decide incorporar la inteligencia artificial a sus actividades. Este actor adquiere especial importancia porque es quien decide utilizar el sistema en una situación concreta y, en muchos casos, conoce el contexto en el que la decisión tendrá consecuencias.

En cuarto lugar, encontramos al operador o usuario directo, que introduce información, configura parámetros o ejecuta el sistema. Un error humano en esta etapa podría influir directamente en el resultado.

Finalmente, puede intervenir una institución pública, cuando el Estado utiliza inteligencia artificial para adoptar decisiones administrativas, prestar servicios, detectar riesgos o gestionar información.

Esta multiplicidad de actores demuestra que no siempre será correcto buscar un único responsable.

La verdadera cuestión será determinar:

¿Quién tenía el control sobre la decisión, quién podía prevenir el daño y quién tenía el deber jurídico de hacerlo?

 

3.2. El error de culpar al algoritmo

Uno de los mayores riesgos jurídicos de la inteligencia artificial consiste en convertir al algoritmo en el responsable de todo aquello que salga mal.

Imaginemos que un sistema utilizado por una empresa rechaza automáticamente a un candidato.

La empresa podría decir:

“Nosotros no rechazamos al candidato; el sistema lo hizo.”

Pero esta respuesta resulta jurídicamente insuficiente.

La empresa decidió adquirir o utilizar el sistema.

Decidió aplicarlo al proceso de contratación.

Decidió confiar en sus resultados.

Y, dependiendo de las circunstancias, tenía la posibilidad o el deber de supervisar su funcionamiento.

Por tanto, decir “lo decidió la IA” no debería ser suficiente para eliminar la responsabilidad de quien utilizó el sistema.

La UNESCO establece que la responsabilidad y la rendición de cuentas deben permanecer vinculadas a los actores humanos e institucionales durante todo el ciclo de vida de los sistemas de inteligencia artificial. Asimismo, señala que los sistemas de IA no deben desplazar la responsabilidad final de las personas o entidades responsables de sus decisiones y acciones.

Esto nos permite formular una posición jurídica contundente:

La IA puede ser la herramienta mediante la cual se produjo el daño, pero la herramienta no debe convertirse automáticamente en el responsable del daño.

 

3.3. ¿Debe responder quien creó la IA o quien decidió utilizarla?

Esta es una de las preguntas más difíciles.

Supongamos que una empresa adquiere un sistema desarrollado por otra compañía. El sistema genera un resultado perjudicial.

¿Debe responder el desarrollador?

No necesariamente.

¿Debe responder la empresa que lo utilizó?

Tampoco necesariamente en todos los casos.

La respuesta dependerá de factores como:

• quién tenía control sobre el sistema;
• quién conocía los riesgos;
• quién configuró sus parámetros;
• quién proporcionó los datos;
• quién tomó la decisión de utilizarlo;
• quién tenía capacidad para detectar el error;
• quién tenía el deber de supervisarlo;
• qué información proporcionó el proveedor;
• qué advertencias existían;
• y cuál fue exactamente la causa del daño.

Por ello, no resulta conveniente construir una regla simplista según la cual “el creador siempre responde” o “el usuario siempre responde”.

La responsabilidad debería determinarse considerando la participación y el deber de cada actor.

La OCDE establece precisamente un principio de responsabilidad según el cual los actores de IA deben responder por el adecuado funcionamiento de los sistemas y por el respeto de los principios aplicables, manteniendo mecanismos de trazabilidad sobre los datos, procesos y decisiones a lo largo del ciclo de vida de la IA.

 

3.4. La responsabilidad civil: cuando la IA produce un daño

La primera dimensión que debemos considerar es la responsabilidad civil.

Supongamos que una persona sufre un perjuicio económico como consecuencia de una decisión automatizada.

Podrían surgir preguntas como:

• ¿Existe un daño?
• ¿Quién lo produjo?
• ¿Existe relación causal entre el funcionamiento del sistema y el daño?
• ¿Hubo negligencia?
• ¿Existía un deber de supervisión?
• ¿El daño podía preverse?
• ¿Se adoptaron medidas razonables para evitarlo?

Aquí aparece una dificultad particular: demostrar la relación entre el comportamiento del sistema y el daño.

En un accidente tradicional puede ser relativamente sencillo determinar qué ocurrió. En cambio, cuando intervienen algoritmos complejos, múltiples proveedores y grandes cantidades de datos, demostrar la causa exacta puede resultar mucho más complicado.

Esto genera una preocupación importante:

Si una persona no puede comprender cómo se produjo una decisión automatizada, ¿cómo podrá demostrar que esa decisión le causó un daño?

Por ello, la transparencia y la trazabilidad no son únicamente cuestiones técnicas. Pueden convertirse en elementos esenciales para garantizar el acceso efectivo a la justicia.

 

3.5. La responsabilidad administrativa

El problema adquiere otra dimensión cuando quien utiliza la inteligencia artificial es una institución pública.

Imaginemos que una entidad estatal utiliza un sistema automatizado para clasificar ciudadanos, determinar prioridades o recomendar determinadas decisiones administrativas.

Aquí no estamos únicamente ante una relación entre particulares.

Existe una relación entre Estado y ciudadano.

Por ello entran en juego principios relacionados con:

• legalidad;
• igualdad;
• debido procedimiento;
• motivación;
• transparencia;
• protección de datos;
• razonabilidad;
• control de la actuación administrativa.

El Estado no debería poder justificar una decisión simplemente afirmando:

“El algoritmo determinó el resultado.”

Una administración pública que utiliza inteligencia artificial sigue siendo una administración pública y, por tanto, debe responder por sus actuaciones dentro del marco jurídico correspondiente.

La tecnología puede ayudar a la Administración a ser más eficiente, pero no puede eliminar la obligación de justificar las decisiones que afectan a los ciudadanos.

 

3.6. ¿Y la responsabilidad penal?

La cuestión penal es todavía más delicada.

No todo error producido mediante inteligencia artificial constituye un delito.

Para hablar de responsabilidad penal será necesario analizar cuidadosamente la conducta, el resultado, la relación causal y los elementos exigidos por el tipo penal correspondiente.

Sin embargo, sí puede surgir una situación preocupante: una persona podría utilizar deliberadamente inteligencia artificial para producir un resultado ilícito.

Por ejemplo, podría utilizarse IA para:

• generar documentos falsos;
• realizar fraudes;
• suplantar identidades;
• manipular información;
• producir contenidos destinados a causar daños;
• facilitar determinadas conductas delictivas.

En estos casos, afirmar que “fue la inteligencia artificial” sería todavía más absurdo.

Si una persona utiliza deliberadamente una herramienta tecnológica para cometer un delito, la existencia de la herramienta no elimina la conducta humana.

El desafío para el Derecho penal será determinar cómo aplicar las categorías tradicionales de autoría, participación, dolo, culpa y causalidad frente a nuevas formas de criminalidad asistidas por sistemas automatizados.

 

3.7. La responsabilidad debe seguir al poder

A partir de todo lo anterior podemos establecer un criterio que resulta especialmente útil para analizar futuros casos:

La responsabilidad debería guardar relación con el poder de decisión, el nivel de control y la capacidad de prevenir el daño.

Quien tiene mayor capacidad para controlar un sistema y prevenir sus riesgos debería asumir una mayor carga de responsabilidad cuando incumple sus obligaciones.

Esto resulta especialmente importante porque sería injusto colocar toda la carga sobre el ciudadano que simplemente interactúa con una tecnología que no comprende.

Por ejemplo, no sería razonable que una persona común tenga que asumir todas las consecuencias de un sistema desarrollado por una empresa tecnológica con enormes capacidades técnicas, económicas y de información.

La asimetría de conocimientos y poder debe ser considerada por el Derecho.

 

3.8. El problema de la caja negra y la prueba

Existe además un problema procesal que no podemos ignorar.

Supongamos que una persona considera que fue perjudicada por una decisión automatizada.

Para reclamar necesita demostrar qué ocurrió.

Pero la empresa responde:

“El algoritmo es confidencial.”

Entonces aparece un conflicto entre:

secreto empresarial

y

derecho de la persona a defenderse.

Este será uno de los grandes desafíos del Derecho contemporáneo.

La protección de los secretos comerciales y la propiedad intelectual es legítima. Sin embargo, esos derechos no deberían convertirse automáticamente en una barrera absoluta para investigar decisiones que afectan derechos fundamentales.

Por ello, la transparencia no necesariamente significa revelar públicamente todo el código fuente de un sistema. Puede significar proporcionar información suficiente para comprender la lógica relevante de la decisión, identificar los factores utilizados y permitir su revisión.

La OCDE vincula la transparencia y la explicabilidad precisamente con la posibilidad de que las personas comprendan las decisiones basadas en IA y puedan cuestionar sus resultados.

 

3.9. La verdadera amenaza: “no fui yo, fue el algoritmo”

Aquí encontramos la parte más confrontacional de este capítulo.

Imaginemos un futuro en el que cada vez que una decisión produzca un resultado injusto, la respuesta sea:

“No fui yo. Fue el algoritmo.”

Esa frase podría convertirse en una de las formas más peligrosas de irresponsabilidad del siglo XXI.

Porque detrás del algoritmo siempre existe una cadena de decisiones humanas:

alguien lo diseñó;

alguien lo entrenó;

alguien seleccionó los datos;

alguien estableció sus objetivos;

alguien lo comercializó;

alguien decidió utilizarlo;

alguien confió en su resultado.

Por eso, la inteligencia artificial no debería convertirse en el chivo expiatorio perfecto.

La sociedad no puede permitir que la complejidad tecnológica haga más difícil exigir responsabilidades.

La función del Derecho debe ser exactamente la contraria: hacer visible la responsabilidad allí donde la tecnología intenta hacerla invisible.

3.10. Una nueva regla de responsabilidad

A partir de este análisis, podemos sostener que el Derecho debería avanzar hacia un modelo de responsabilidad algorítmica, basado en cuatro elementos:

1. Identificación: determinar quiénes intervinieron en el sistema.

2. Trazabilidad: conocer qué datos, procesos y decisiones condujeron al resultado.

3. Supervisión: establecer quién tenía el deber y la capacidad de controlar el sistema.

4. Reparación: garantizar que la persona perjudicada pueda reclamar y obtener una respuesta efectiva.

Esto resulta coherente con los principios internacionales que colocan la transparencia, la responsabilidad y la supervisión humana como elementos fundamentales de una inteligencia artificial confiable.

El desarrollo de la inteligencia artificial no elimina la responsabilidad jurídica; la hace más compleja y exige identificarla con mayor precisión. El desafío consiste en evitar que la existencia de múltiples actores y sistemas técnicamente complejos termine creando un vacío de responsabilidad.

Ni el desarrollador, ni el proveedor, ni la empresa usuaria, ni el funcionario público deberían poder desprenderse automáticamente de sus obligaciones mediante una simple afirmación: “lo decidió el algoritmo”.

La pregunta jurídica del futuro no será únicamente “¿qué hizo la inteligencia artificial?”, sino:

“¿Quién tenía el poder de evitar que ocurriera y por qué no lo hizo?”

 

IV. La “caja negra”: cuando una persona no sabe por qué fue perjudicada

 

Uno de los problemas más delicados que plantea la inteligencia artificial para el Derecho no consiste únicamente en determinar quién debe responder por una decisión automatizada, sino en establecer si una persona tiene derecho a conocer las razones por las cuales un sistema de inteligencia artificial tomó o recomendó una decisión que afecta sus derechos.

El problema puede parecer técnico, pero en realidad es profundamente jurídico. Una inteligencia artificial puede analizar grandes cantidades de información y generar en segundos una predicción, clasificación o recomendación. Sin embargo, para la persona afectada, el resultado puede reducirse a una frase aparentemente sencilla: “su solicitud ha sido rechazada”.

La verdadera dificultad comienza cuando esa persona pregunta:

“¿Por qué?”

Y la respuesta es:

“Porque el algoritmo determinó que usted representa un riesgo.”

Aquí aparece el problema de la denominada “caja negra”.

 

4.1. ¿Qué significa la “caja negra”?

La expresión “caja negra” hace referencia a situaciones en las que podemos observar la información que ingresa a un sistema y el resultado que produce, pero no podemos comprender con suficiente claridad cómo se llegó a determinada conclusión.

En sistemas de inteligencia artificial particularmente complejos, el proceso mediante el cual se generan determinadas predicciones o recomendaciones puede resultar difícil de interpretar incluso para quienes utilizan la tecnología.

Desde el punto de vista tecnológico, esto puede ser una consecuencia de la complejidad del sistema.

Desde el punto de vista jurídico, sin embargo, surge un problema mucho más serio:

¿Puede una decisión que afecta los derechos de una persona ser legítima si esa persona no puede conocer las razones relevantes que la originaron?

Esta pregunta es fundamental porque el Derecho no se ocupa únicamente del resultado de una decisión. También se preocupa por cómo se llegó a ella.

Una decisión administrativa debe poder ser motivada.

Una sanción debe tener fundamentos.

Una sentencia debe explicar sus razones.

Una empresa que adopta determinadas decisiones frente a sus trabajadores o clientes puede estar sometida a obligaciones de igualdad, no discriminación y protección de datos.

Entonces, ¿por qué debería ser diferente cuando interviene un algoritmo?

 

4.2. El derecho a preguntar “¿por qué?”

Imaginemos nuevamente el caso de una persona que solicita un crédito.

El banco utiliza inteligencia artificial para analizar:

• ingresos;
• historial financiero;
• comportamiento de pago;
• información disponible;
• patrones estadísticos;
• otros datos relevantes.

Finalmente, el sistema clasifica al solicitante como “alto riesgo” y el crédito es rechazado.

La persona tiene derecho a conocer que fue rechazada.

Pero el verdadero problema es otro:

¿Tiene derecho a conocer las razones relevantes que llevaron a esa clasificación?

Si la respuesta fuera negativa, podríamos estar creando una situación jurídicamente preocupante: una persona podría sufrir una consecuencia económica importante sin tener una posibilidad real de comprenderla o cuestionarla.

La OCDE considera que los sistemas de IA deben promover la transparencia y la divulgación responsable, de manera que las personas puedan comprender cuándo interactúan con sistemas de IA y, cuando sea apropiado y posible, obtener información significativa sobre las capacidades, limitaciones y factores que llevaron a determinadas predicciones, recomendaciones o decisiones. También contempla la posibilidad de que las personas afectadas cuestionen los resultados del sistema. (oecd.org)

Esto demuestra que la explicabilidad no constituye simplemente una cuestión de comodidad para el usuario.

Puede convertirse en una condición para ejercer derechos.

 

4.3. Eficiencia tecnológica frente al derecho a la explicación

Aquí aparece uno de los principales conflictos que debe resolver el Derecho contemporáneo.

La inteligencia artificial promete:

• mayor velocidad;
• reducción de costos;
• procesamiento masivo de información;
• automatización;
• predicciones;
• eficiencia administrativa.

Pero el Derecho exige:

• transparencia;
• motivación;
• igualdad;
• posibilidad de defensa;
• control;
• responsabilidad.

Entonces surge una tensión:

¿Qué ocurre cuando la decisión más eficiente es también la menos explicable?

Supongamos que un sistema puede analizar un millón de solicitudes en pocos segundos, mientras que un ser humano necesitaría semanas para realizar un análisis semejante.

La eficiencia parece indiscutible.

Pero si el sistema rechaza automáticamente a una persona y nadie puede explicarle adecuadamente por qué fue rechazada, tenemos un problema.

La velocidad no necesariamente significa justicia.

La eficiencia no necesariamente significa legitimidad.

Y la automatización no necesariamente significa objetividad.

Por eso, el Derecho debe resistirse a una idea peligrosa:

“Si funciona rápido y produce buenos resultados estadísticos, entonces debemos aceptarlo.”

No necesariamente.

Una decisión jurídicamente legítima no puede evaluarse exclusivamente por su eficiencia.

 

4.4. ¿La eficiencia puede justificar la falta de transparencia?

Esta es una de las preguntas más polémicas del problema.

Imaginemos que una institución afirma:

“No podemos explicar completamente cómo funciona el sistema porque es demasiado complejo.”

O una empresa sostiene:

“No podemos revelar cómo funciona porque constituye un secreto empresarial.”

Ambos argumentos pueden tener cierta legitimidad en determinados contextos.

Una empresa puede tener intereses legítimos relacionados con sus secretos comerciales.

Y un sistema de IA puede ser técnicamente muy complejo.

Pero ninguna de esas circunstancias debería convertirse automáticamente en una justificación para dejar a una persona indefensa.

La pregunta correcta sería:

¿Cuánta información necesita conocer una persona para poder comprender y cuestionar una decisión que afecta sus derechos?

No necesariamente se necesita entregar el código fuente completo.

La transparencia puede consistir en explicar:

• qué información fue utilizada;
• qué factores fueron relevantes;
• qué tipo de decisión produjo el sistema;
• cuáles fueron sus principales razones;
• qué margen de error existe;
• quién supervisó la decisión;
• cómo puede impugnarse.

La OCDE vincula precisamente la transparencia con la posibilidad de comprender los factores que influyen en las decisiones y cuestionar sus resultados. (oecd.org)

 

4.5. La “caja negra” y el debido proceso

Este problema adquiere una importancia todavía mayor cuando la inteligencia artificial es utilizada por el Estado.

Imaginemos que una institución pública utiliza un algoritmo para clasificar ciudadanos, determinar niveles de riesgo o recomendar una decisión administrativa.

El ciudadano recibe una resolución desfavorable y pregunta:

“¿Cuál es la razón?”

La Administración responde:

“El sistema automatizado determinó el resultado.”

Esta respuesta sería profundamente problemática.

El Estado no puede utilizar la tecnología para escapar de las obligaciones que tiene frente al ciudadano.

La automatización de un procedimiento no debería significar la desaparición de:

• la motivación;
• el derecho de defensa;
• la posibilidad de contradicción;
• la revisión;
• la impugnación;
• la responsabilidad administrativa.

La inteligencia artificial puede asistir a la Administración, pero no debería convertirse en una autoridad invisible cuyas decisiones sean aceptadas sin posibilidad de cuestionamiento.

4.6. El problema de la discriminación oculta

La falta de explicabilidad también puede dificultar la detección de discriminaciones.

Supongamos que un algoritmo rechaza sistemáticamente a determinados candidatos para un empleo.

La empresa afirma que no utiliza criterios discriminatorios.

Pero nadie puede explicar claramente por qué determinados perfiles reciben puntuaciones menores.

Entonces aparece un problema:

¿Cómo podemos demostrar una discriminación si no podemos comprender el mecanismo que produjo la decisión?

Esta es una de las razones por las que UNESCO coloca la transparencia, la equidad y la no discriminación entre los principios centrales de una inteligencia artificial ética. La organización advierte que los sistemas pueden reproducir y amplificar sesgos existentes en los datos y en las sociedades. (unesco.org)

En consecuencia, la falta de transparencia puede convertirse en una barrera para la justicia.

Una discriminación visible puede ser denunciada.

Una discriminación escondida detrás de un algoritmo puede resultar mucho más difícil de demostrar.

 

4.7. La persona frente al poder tecnológico

Aquí aparece una relación de poder que no podemos ignorar.

Por un lado tenemos:

una persona que quiere conocer las razones de una decisión.

Por otro:

una empresa o institución que posee el sistema, los datos y la información técnica.

La diferencia de poder es evidente.

La persona puede saber que fue rechazada.

Pero la empresa puede conocer:

• qué datos utilizó;
• cómo funciona el modelo;
• qué variables considera;
• qué información posee;
• cómo se entrenó el sistema;
• cuáles son sus niveles de precisión.

Esta asimetría informativa puede convertirse en una forma de poder.

Por eso, la transparencia algorítmica tiene también una función democrática:

reducir la desigualdad de información entre quien decide y quien sufre las consecuencias de la decisión.

 

4.8. Perú y México: el desafío de la transparencia

Este problema resulta especialmente relevante para nuestro análisis comparativo.

En Perú, el Reglamento de la Ley N.° 31814 incorpora principios y obligaciones vinculados con el desarrollo y uso responsable de la inteligencia artificial, incluyendo aspectos relacionados con transparencia y protección de derechos.

El desafío peruano será demostrar que estos principios pueden convertirse en mecanismos efectivos de protección para las personas afectadas por sistemas automatizados.

En México, la discusión sobre la regulación de la IA también ha colocado sobre la mesa cuestiones relacionadas con transparencia, ética, derechos humanos y supervisión.

Por tanto, ambos países enfrentan una pregunta semejante:

¿Cómo garantizar que una persona pueda cuestionar una decisión automatizada cuando no tiene el mismo conocimiento ni poder tecnológico que la organización que utiliza la IA?

La respuesta no debería consistir en prohibir la inteligencia artificial.

Debe consistir en someter su utilización a reglas que protejan a la persona frente al poder tecnológico.

 

4.9. ¿Podemos aceptar una decisión más rápida si no podemos saber por qué fue tomada?

Esta es la pregunta que resume todo el capítulo.

La respuesta que defendemos es:

No cuando la decisión afecta derechos fundamentales y la falta de explicación impide a la persona comprenderla, cuestionarla o defenderse.

La tecnología puede ser extraordinariamente eficiente.

Puede analizar millones de datos.

Puede detectar patrones que un ser humano no podría identificar.

Puede ahorrar tiempo y recursos.

Pero existe un límite que no debería cruzarse:

La eficiencia tecnológica no puede convertirse en una excusa para eliminar la transparencia y la responsabilidad.

El Derecho no debe competir con la inteligencia artificial en velocidad.

Debe hacer algo diferente y mucho más importante:

establecer límites al poder que esa tecnología puede ejercer sobre las personas.

4.10. La verdadera pregunta jurídica

La discusión sobre la “caja negra” finalmente nos lleva a una cuestión mucho más profunda.

No se trata solamente de preguntar:

“¿Cómo funciona el algoritmo?”

La pregunta jurídica fundamental es:

“¿Puede una sociedad democrática permitir que una decisión que afecta los derechos de una persona permanezca esencialmente inexplicable para esa persona?”

Si la respuesta fuera afirmativa, estaríamos aceptando una peligrosa transformación del Estado de Derecho: pasaríamos de un modelo en el que las autoridades y organizaciones deben justificar sus decisiones a otro en el que podrían decir simplemente:

“El algoritmo lo determinó.”

Y precisamente allí aparece el verdadero peligro de la caja negra.

No porque la inteligencia artificial sea necesariamente injusta, sino porque una decisión que no puede ser comprendida, cuestionada ni atribuida a un responsable puede convertirse en una decisión prácticamente imposible de controlar.

Por eso, el principio que debería orientar el Derecho frente a la IA puede resumirse de manera contundente:

Si una decisión automatizada puede perjudicar a una persona, la complejidad del algoritmo nunca debe ser más importante que el derecho de esa persona a conocer, cuestionar y defenderse frente a la decisión.

V. Discriminación algorítmica: cuando la máquina aprende nuestros prejuicios

 

Uno de los problemas más preocupantes del desarrollo de la inteligencia artificial es la posibilidad de que una tecnología presentada como objetiva, neutral y eficiente termine reproduciendo las desigualdades y prejuicios existentes en la sociedad. La paradoja es evidente: hemos creado sistemas capaces de procesar enormes cantidades de información con una velocidad que supera ampliamente la capacidad humana, pero esos sistemas aprenden a partir de datos producidos por seres humanos y, por tanto, pueden aprender también nuestras propias imperfecciones.

La inteligencia artificial no nace en una sociedad neutral. Aprende de información que refleja comportamientos, decisiones y estructuras sociales existentes. Si esos datos contienen desigualdades históricas, exclusiones o patrones discriminatorios, existe el riesgo de que el sistema los reproduzca al realizar sus predicciones o recomendaciones.

Por ello, el problema no consiste solamente en preguntarnos si una inteligencia artificial puede discriminar. La pregunta más profunda es:

¿Puede una máquina convertirse en el mecanismo mediante el cual nuestros prejuicios dejan de ser individuales y pasan a convertirse en decisiones automatizadas?

La UNESCO reconoce que los sistemas de inteligencia artificial pueden reproducir y amplificar sesgos y desigualdades existentes. Por ello, su Recomendación sobre la Ética de la Inteligencia Artificial coloca en el centro principios como la dignidad humana, los derechos humanos, la equidad, la no discriminación, la transparencia, la responsabilidad y la supervisión humana.

 

5.1. La ilusión de que una máquina es neutral

Existe una creencia bastante extendida:

“Si la decisión la toma una máquina, entonces es objetiva.”

Esta afirmación parece razonable, pero puede ser profundamente equivocada.

Una máquina no posee prejuicios humanos en el sentido tradicional, pero el sistema puede aprender patrones existentes en los datos que recibe.

Imaginemos que una empresa utiliza inteligencia artificial para seleccionar trabajadores.

El sistema analiza miles de contrataciones anteriores y encuentra determinados patrones.

Si históricamente la empresa contrató principalmente a personas de determinados perfiles, el algoritmo podría identificar esos perfiles como indicadores de “éxito”.

El sistema podría concluir que determinados candidatos tienen mayores probabilidades de ser contratados o de desempeñarse adecuadamente.

Pero aquí aparece el problema:

¿El algoritmo descubrió una relación realmente objetiva o simplemente aprendió una discriminación que ya existía?

La máquina no necesariamente sabe la diferencia.

Y ahí reside el peligro.

 

5.2. Los datos también tienen historia

Los datos no aparecen espontáneamente.

Son producidos por sociedades.

Detrás de cada conjunto de datos existen decisiones humanas.

Existen instituciones.

Existen comportamientos.

Existen desigualdades.

Existen oportunidades distribuidas de manera desigual.

Por ejemplo, si una sociedad ha tenido históricamente dificultades para garantizar igualdad de oportunidades educativas, laborales o económicas, sus datos pueden reflejar esas diferencias.

Cuando esos datos son utilizados para entrenar un sistema de IA, existe el riesgo de que el algoritmo interprete una desigualdad histórica como si fuera una característica objetiva de las personas.

Aquí aparece una diferencia fundamental:

Una correlación estadística no necesariamente representa una justificación ética o jurídica.

Que determinado grupo haya recibido históricamente menos oportunidades no significa que ese grupo deba recibir menos oportunidades en el futuro.

Sin embargo, un algoritmo podría aprender precisamente ese patrón.

Por eso, la inteligencia artificial puede terminar transformando una desigualdad histórica en una desigualdad automatizada.

5.3. El caso de la contratación laboral

El ámbito laboral es uno de los escenarios donde este problema puede resultar especialmente evidente.

Supongamos que una empresa utiliza IA para seleccionar candidatos.

El sistema analiza:

• experiencia;
• formación;
• historial laboral;
• ubicación;
• edad;
• características del currículum;
• resultados de pruebas;
• comportamiento previo.

En teoría, la herramienta debería seleccionar a los mejores candidatos.

Pero imaginemos que los datos históricos utilizados para entrenar el sistema contienen patrones discriminatorios.

El algoritmo podría terminar otorgando menor puntuación a determinados perfiles.

Lo preocupante es que nadie tendría que haber programado expresamente:

“Discrimina a este grupo.”

La discriminación podría surgir indirectamente como consecuencia de los datos y de la lógica utilizada por el sistema.

Esto genera una pregunta jurídica extremadamente importante:

¿Puede existir discriminación aunque nadie haya ordenado directamente al algoritmo discriminar?

La respuesta debe analizarse desde los efectos reales de la decisión y no solamente desde la intención de quien programó el sistema.

5.4. La discriminación puede ser invisible

Una de las características más peligrosas de la discriminación algorítmica es que puede resultar difícil de detectar.

Una persona que discrimina directamente puede expresar su prejuicio.

Un algoritmo no lo hace.

El algoritmo simplemente presenta un resultado:

“Puntuación: 42.”

“Riesgo: alto.”

“Probabilidad: baja.”

“Candidato no recomendado.”

El lenguaje parece científico.

Parece neutral.

Parece objetivo.

Pero detrás de esos números puede existir un patrón discriminatorio.

Esta es una de las razones por las cuales UNESCO insiste en que los sistemas de IA deben desarrollarse y utilizarse respetando la equidad, la no discriminación, la transparencia y la responsabilidad.

El problema es que la discriminación puede esconderse detrás de la apariencia matemática de una decisión.

 

5.5. Cuando el prejuicio se convierte en estadística

Aquí encontramos una de las ideas más importantes del capítulo.

El prejuicio humano tradicional puede ser identificado como una opinión o actitud.

Pero cuando ese prejuicio se incorpora a grandes cantidades de datos y posteriormente es utilizado por un sistema automatizado, puede transformarse en una regla estadística.

Y una regla estadística puede parecer mucho más legítima.

Por ejemplo:

“El sistema determina que este perfil presenta mayor riesgo.”

La frase parece objetiva.

Pero debemos preguntar:

¿Por qué?

¿Qué datos utilizó?

¿De dónde provinieron esos datos?

¿Qué variables influyeron?

¿Existían desigualdades en los datos originales?

¿El sistema fue auditado?

¿Alguien supervisó sus resultados?

Aquí conectamos directamente con el capítulo anterior sobre la “caja negra”.

La discriminación algorítmica y la falta de explicabilidad pueden reforzarse mutuamente:

si el algoritmo discrimina y no podemos entender por qué, resulta mucho más difícil detectar y combatir la discriminación.

 

5.6. La discriminación indirecta

No siempre será necesario que el sistema utilice explícitamente una característica protegida para producir resultados discriminatorios.

Supongamos que un algoritmo no utiliza directamente determinada característica personal, pero utiliza otras variables que están fuertemente relacionadas con ella.

El sistema podría producir resultados diferentes para determinados grupos sin que la característica aparezca expresamente en la fórmula.

Esto demuestra que eliminar una variable de un sistema no necesariamente elimina el riesgo de discriminación.

Por ello, la evaluación debe considerar no solamente qué variables utiliza la IA, sino también qué efectos produce en la realidad.

Aquí encontramos un desafío fundamental para el Derecho:

¿Debemos juzgar la inteligencia artificial por lo que fue diseñada para hacer o por las consecuencias que efectivamente produce?

En materia de derechos fundamentales, la segunda pregunta adquiere especial importancia.

 

5.7. Perú: el desafío de evitar que la automatización reproduzca desigualdades

En el caso peruano, el problema adquiere particular importancia porque la inteligencia artificial se está incorporando progresivamente en actividades empresariales, administrativas y sociales, dentro de un país que presenta profundas diferencias económicas y sociales.

El Reglamento de la Ley N.° 31814 incorpora principios relacionados con el desarrollo y uso responsable de la inteligencia artificial y establece un enfoque orientado a la protección de derechos y al uso ético de estas tecnologías.

Pero aquí debemos plantear una cuestión crítica:

¿Cómo evitar que una tecnología entrenada con datos de una sociedad desigual termine reproduciendo esa desigualdad con apariencia de neutralidad?

Esta pregunta es fundamental.

Una IA no puede corregir automáticamente todas las desigualdades de la sociedad simplemente porque utilice matemáticas.

Si los datos están sesgados, la automatización puede hacer que el problema sea más grande, más rápido y más difícil de detectar.

 

5.8. México: tecnología y derechos humanos

México enfrenta un desafío semejante.

El debate sobre la regulación de la inteligencia artificial ha incorporado cuestiones relacionadas con ética, derechos humanos, transparencia y responsabilidad.

Esto resulta especialmente relevante porque la regulación de la IA no debería limitarse a promover innovación.

También debe preguntarse:

¿Qué ocurre con la persona que queda en desventaja frente a una decisión automatizada?

Una regulación verdaderamente orientada a los derechos humanos debería preocuparse no solamente por quienes desarrollan la tecnología, sino también por quienes pueden sufrir sus consecuencias.

Aquí aparece una tensión:

innovación tecnológica

frente a

protección de derechos fundamentales.

La solución no debería ser elegir uno y eliminar el otro.

El verdadero desafío consiste en construir un modelo donde la innovación tenga límites cuando pueda producir discriminación o vulneración de derechos.

 

5.9. ¿Puede una IA ser más discriminatoria que un ser humano?

Esta pregunta puede generar una discusión interesante.

Una persona puede discriminar a diez, cien o incluso miles de individuos durante su vida profesional.

Pero un algoritmo utilizado por una gran empresa o institución puede tomar decisiones sobre millones de personas.

Por tanto, una pequeña desviación en el diseño de un sistema puede producir consecuencias a una escala que ningún individuo podría alcanzar por sí solo.

Aquí aparece una paradoja:

La automatización puede hacer más eficiente una decisión correcta, pero también puede hacer más eficiente una decisión injusta.

Si un sistema funciona correctamente, la IA multiplica sus beneficios.

Pero si existe un sesgo, la IA también puede multiplicar sus consecuencias.

Por eso, cuanto mayor sea el impacto de un sistema sobre los derechos de las personas, mayor debería ser la exigencia de supervisión, evaluación y control.

 

5.10. La supervisión humana: ¿control real o simple formalidad?

UNESCO sostiene la importancia de mantener responsabilidad y supervisión humana en el desarrollo y uso de la inteligencia artificial.

Pero aquí aparece otra pregunta:

¿Qué significa realmente “supervisión humana”?

No debería significar simplemente que una persona haga clic en “aceptar”.

Si un funcionario recibe una recomendación de IA y automáticamente la aprueba sin analizarla, la existencia formal de un ser humano no garantiza una verdadera supervisión.

La supervisión debe implicar capacidad real para:

• revisar;
• cuestionar;
• corregir;
• rechazar;
• explicar;
• detener el sistema cuando sea necesario.

De lo contrario, tendríamos una supervisión meramente simbólica.

Y eso sería especialmente peligroso en decisiones de alto impacto.

 

5.11. ¿La inteligencia artificial elimina nuestros prejuicios o simplemente los automatiza?

Esta es la pregunta que debe quedar como eje de este capítulo.

La respuesta no puede ser simplemente “la IA discrimina”.

Sería demasiado sencillo.

La verdadera cuestión es:

La inteligencia artificial puede ayudarnos a detectar y reducir prejuicios, pero también puede aprenderlos, reproducirlos y amplificarlos.

Por eso, el problema no está necesariamente en la existencia de la IA.

Está en cómo se construye, con qué datos se entrena, para qué se utiliza, quién supervisa sus resultados y qué mecanismos existen para corregir sus errores.

Una inteligencia artificial ética no puede limitarse a producir resultados eficientes.

Debe producir resultados compatibles con la dignidad y los derechos de las personas.

 

5.12. Una nueva forma de discriminación

La discriminación del futuro podría no presentarse como:

“No te aceptamos por ser diferente.”

Podría presentarse de una manera mucho más sofisticada:

“El sistema determinó que tu perfil tiene una menor probabilidad de éxito.”

La primera frase puede ser evidentemente discriminatoria.

La segunda parece una simple conclusión matemática.

Ahí está el verdadero peligro.

La discriminación podría dejar de parecer una decisión humana y convertirse en una decisión aparentemente neutral, técnica y objetiva.

Y precisamente por eso el Derecho debe ser capaz de mirar más allá del algoritmo.

Debe mirar los datos.

Debe analizar los criterios.

Debe examinar los efectos.

Y debe preguntarse quién se beneficia y quién resulta perjudicado.

Conclusión del capítulo

La inteligencia artificial no es inevitablemente discriminatoria, pero tampoco es automáticamente neutral. Una máquina aprende de los datos que los seres humanos le proporcionan y, cuando esos datos contienen desigualdades, existe el riesgo de que esas desigualdades sean reproducidas a una escala mucho mayor.

Por ello, la lucha contra la discriminación algorítmica no consiste en rechazar la tecnología, sino en impedir que la tecnología convierta nuestros prejuicios en decisiones aparentemente objetivas.

La pregunta que queda abierta es contundente:

¿La inteligencia artificial está aprendiendo a pensar como nosotros o simplemente está aprendiendo nuestros errores?

Y quizá la respuesta más preocupante sea esta:

El verdadero riesgo no es que la máquina tenga prejuicios propios, sino que consiga convertir nuestros prejuicios en decisiones automáticas, masivas y aparentemente imparciales.

 

VI. Perú: una regulación que ya existe, pero que debe demostrar su eficacia

El debate sobre la inteligencia artificial en el Perú debe partir de una precisión fundamental: ya no resulta correcto afirmar que el país carece de regulación sobre inteligencia artificial. El Perú dio un primer paso importante con la promulgación de la Ley N.° 31814, Ley que promueve el uso de la inteligencia artificial en favor del desarrollo económico y social del país, publicada en 2023. Posteriormente, mediante el Decreto Supremo N.° 115-2025-PCM, se aprobó su Reglamento, estableciendo un marco más desarrollado para orientar y supervisar el uso de estas tecnologías.

Por tanto, el debate jurídico ha cambiado.

Ya no corresponde preguntarnos simplemente:

“¿Necesita el Perú una ley sobre inteligencia artificial?”

La pregunta verdaderamente importante es mucho más incómoda:

¿La regulación peruana tiene capacidad suficiente para impedir que la inteligencia artificial vulnere derechos y para determinar responsabilidades cuando se produzca un daño?

Esta diferencia es fundamental. Una cosa es tener una norma y otra muy distinta es hacer que esa norma funcione en la realidad.

6.1. Del vacío normativo a la regulación

La Ley N.° 31814 constituye un punto de partida relevante porque reconoce expresamente la importancia de promover el desarrollo y uso de la inteligencia artificial en el Perú. Su finalidad está vinculada con el desarrollo económico y social y con el aprovechamiento de los beneficios que puede generar esta tecnología.

La existencia de esta ley demuestra que el legislador peruano ha reconocido que la inteligencia artificial ya no constituye un asunto exclusivamente tecnológico, sino una cuestión que requiere atención jurídica y política.

Posteriormente, el Decreto Supremo N.° 115-2025-PCM, publicado en 2025, aprobó el Reglamento de la Ley N.° 31814 y desarrolló disposiciones relacionadas con el uso responsable de la inteligencia artificial.

Este punto es importante para nuestro ensayo porque demuestra que Perú ya no se encuentra simplemente en una etapa de discusión sobre si debe regular la IA.

La regulación existe.

Ahora comienza una etapa mucho más difícil:

demostrar que esa regulación puede funcionar.

 

6.2. Tener una ley no significa solucionar el problema

Aquí encontramos uno de los problemas tradicionales del Derecho peruano.

La existencia de una norma puede generar una sensación de seguridad:

“Ya tenemos una ley, por lo tanto, el problema está regulado.”

Pero esa conclusión puede ser equivocada.

Una norma puede establecer derechos y obligaciones y, sin embargo, tener una eficacia limitada si no existen:

• instituciones capaces de supervisarla;
• funcionarios capacitados;
• mecanismos de fiscalización;
• recursos económicos;
• procedimientos adecuados;
• sistemas de auditoría;
• mecanismos efectivos de denuncia;
• sanciones aplicables;
• coordinación entre entidades.

Por eso debemos distinguir entre validez jurídica y eficacia social.

Una norma puede ser perfectamente válida desde el punto de vista jurídico y, al mismo tiempo, resultar insuficiente para transformar la realidad.

Esta diferencia conecta directamente con uno de los grandes problemas de nuestro ensayo:

¿De qué sirve una regulación moderna si la capacidad del Estado para hacerla cumplir no está a la misma altura de la tecnología que pretende controlar?

 

6.3. El verdadero desafío: pasar del principio a la práctica

El marco peruano incorpora una orientación hacia un uso responsable de la inteligencia artificial. Sin embargo, el verdadero desafío aparece cuando esos principios deben aplicarse a situaciones concretas.

Por ejemplo:

Una empresa utiliza IA para seleccionar trabajadores.

Un ciudadano considera que fue discriminado.

¿Dónde reclama?

¿Quién investiga el sistema?

¿Quién determina si existió discriminación algorítmica?

¿Quién puede exigir información a la empresa?

¿Quién realiza la auditoría técnica?

¿Quién determina la responsabilidad?

¿Quién impone la sanción?

¿La persona afectada tiene realmente capacidad para demostrar cómo funcionó el algoritmo?

Estas preguntas muestran que regular la IA no consiste solamente en establecer principios generales.

También es necesario construir una arquitectura institucional capaz de hacerlos efectivos.

 

6.4. La transparencia como obligación real

Uno de los aspectos más importantes de cualquier regulación sobre inteligencia artificial es la transparencia.

Si una empresa utiliza IA para tomar decisiones relevantes sobre personas, debería existir algún nivel de información que permita conocer:

• que se está utilizando IA;
• cuál es la finalidad del sistema;
• qué tipo de datos utiliza;
• qué consecuencias puede producir;
• quién es responsable de su utilización;
• qué mecanismos existen para cuestionar una decisión.

Esto se relaciona directamente con lo desarrollado en el capítulo IV sobre la “caja negra”.

El problema sería que una persona tenga un derecho reconocido en la legislación, pero no tenga las herramientas necesarias para ejercerlo.

Por ejemplo:

“Usted puede cuestionar la decisión automatizada.”

Pero cuando la persona pregunta:

“¿Qué información utilizó el sistema?”

La empresa responde:

“Es información confidencial.”

Entonces el derecho existe formalmente, pero su ejercicio puede resultar extremadamente difícil.

Aquí aparece una diferencia fundamental:

No basta con reconocer un derecho; es necesario crear las condiciones para ejercerlo.

 

6.5. Protección de derechos fundamentales

La regulación peruana debe ser analizada también desde una perspectiva de derechos fundamentales.

La inteligencia artificial puede afectar:

• privacidad;
• protección de datos personales;
• igualdad;
• no discriminación;
• libertad;
• dignidad;
• acceso a servicios;
• derechos laborales;
• debido procedimiento.

Por ello, el desarrollo tecnológico no puede evaluarse únicamente desde una perspectiva económica.

No basta con preguntar:

“¿Cuánto dinero ahorra la IA?”

También debemos preguntar:

“¿Qué derechos puede afectar?”

Esta es una cuestión fundamental porque una tecnología puede ser extraordinariamente rentable y, al mismo tiempo, producir consecuencias socialmente injustas.

El Estado tiene entonces que encontrar un equilibrio entre innovación y protección jurídica.

 

6.6. ¿Quién fiscaliza la inteligencia artificial?

Aquí encontramos uno de los puntos más interesantes para desarrollar en profundidad.

La IA no constituye una única actividad económica.

Puede utilizarse en:

• bancos;
• empresas;
• hospitales;
• universidades;
• colegios;
• entidades públicas;
• sistemas de seguridad;
• comercio electrónico;
• plataformas digitales.

Por ello, la supervisión puede involucrar a diferentes entidades dependiendo de la actividad y del derecho afectado.

En materia de datos personales, por ejemplo, existe una autoridad especializada.

En materia de protección al consumidor, existen competencias específicas.

En el ámbito laboral existen autoridades y mecanismos propios.

En el sector financiero existen organismos de supervisión especializados.

Y cuando interviene una entidad pública, también pueden entrar en juego los mecanismos de control administrativo correspondientes.

Esto plantea una dificultad:

¿Quién coordina todo este sistema cuando un mismo algoritmo afecta simultáneamente varios derechos?

Imaginemos una plataforma que utiliza IA para seleccionar trabajadores y que, al mismo tiempo, procesa datos personales.

Podríamos tener simultáneamente:

un problema laboral + un problema de protección de datos + un posible problema de discriminación + un problema de responsabilidad.

La fragmentación institucional puede convertirse entonces en un desafío.

 

6.7. El problema de la capacidad técnica del Estado

Existe otro problema que puede resultar todavía más serio.

Para fiscalizar adecuadamente sistemas avanzados de inteligencia artificial, el Estado necesita personas capaces de comprenderlos.

No basta con tener abogados.

No basta con tener funcionarios administrativos.

También se requieren conocimientos técnicos relacionados con:

• algoritmos;
• datos;
• modelos de IA;
• ciberseguridad;
• auditoría tecnológica;
• evaluación de riesgos;
• sistemas automatizados.

Aquí aparece una posible desigualdad:

¿Puede el Estado controlar una tecnología que sus propios organismos no tienen capacidad técnica suficiente para comprender?

Este problema merece especial atención.

Las empresas tecnológicas pueden disponer de equipos especializados, ingenieros, científicos de datos y recursos económicos considerables.

Mientras tanto, una institución pública podría tener recursos humanos y presupuestarios limitados.

Entonces aparece una asimetría:

quien debe ser fiscalizado puede conocer mucho más del sistema que quien debe fiscalizarlo.

Y cuando existe una enorme diferencia de conocimientos entre regulador y regulado, la eficacia de la regulación puede verse seriamente afectada.

6.8. El peligro de una regulación simbólica

Aquí podemos introducir uno de los argumentos más polémicos del ensayo.

Existe el riesgo de que una regulación de inteligencia artificial se convierta en una regulación simbólica.

Es decir, una normativa que contiene principios modernos, lenguaje técnico y declaraciones importantes, pero que no consigue modificar significativamente el comportamiento de quienes utilizan la tecnología.

Esto puede suceder cuando:

• no existen suficientes mecanismos de fiscalización;
• las sanciones son difíciles de aplicar;
• las autoridades carecen de recursos;
• los ciudadanos desconocen sus derechos;
• las instituciones no coordinan adecuadamente;
• los procedimientos son demasiado lentos;
• la tecnología avanza más rápido que la capacidad regulatoria.

En ese escenario podríamos tener una paradoja:

Perú tendría una regulación moderna sobre inteligencia artificial, pero una capacidad limitada para hacerla efectiva.

Y una norma que no puede hacerse cumplir corre el riesgo de convertirse en una declaración de buenas intenciones.

6.9. ¿Debe regularse todo?

También debemos evitar caer en el extremo contrario.

Regular la inteligencia artificial no significa necesariamente prohibirla o someter todos sus usos al mismo nivel de control.

No tendría sentido tratar de la misma manera:

un sistema de IA que recomienda una película  y un sistema que influye en una decisión sobre empleo, crédito, salud o acceso a un servicio público.

El nivel de regulación debería guardar relación con el nivel de riesgo.

Mientras mayor sea la posibilidad de afectar derechos fundamentales, mayor debería ser la exigencia de:

• evaluación;
• transparencia;
• supervisión;
• documentación;
• auditoría;
• trazabilidad;
• responsabilidad.

Esta lógica permite evitar dos extremos:

ni ausencia de regulación ni regulación excesiva que termine paralizando la innovación.

El desafío consiste en encontrar un punto de equilibrio.

6.10. Perú frente al desafío de la eficacia

En este punto podemos formular una crítica más profunda.

El problema del Perú no necesariamente es que carezca de normas.

El problema histórico puede ser otro:

la distancia entre lo que dice la norma y lo que ocurre en la realidad.

Y esta idea conecta directamente con una cuestión que hemos venido trabajando en otros temas jurídicos:

¿De qué sirve una ley si no puede garantizar su cumplimiento?

En el caso de la inteligencia artificial, esta pregunta adquiere una dimensión nueva porque la tecnología puede avanzar mucho más rápido que las instituciones.

Un algoritmo puede actualizarse en días.

Una empresa puede implementar una nueva herramienta en semanas.

Un modelo de IA puede cambiar constantemente.

Mientras tanto, los procedimientos administrativos y legislativos pueden avanzar mucho más lentamente.

Entonces aparece un problema de velocidad regulatoria.

La tecnología corre; el Derecho intenta alcanzarla.

 

6.11. Perú y México: dos realidades, un mismo desafío

La comparación con México permite enriquecer el análisis.

No se trata simplemente de determinar cuál país tiene “mejor” regulación.

La cuestión más importante es analizar si ambos países pueden construir mecanismos capaces de:

• proteger derechos;
• controlar riesgos;
• supervisar sistemas;
• exigir transparencia;
• determinar responsabilidades;
• sancionar abusos;
• garantizar reparación.

Esto permite sostener que la verdadera competencia entre países no debería consistir únicamente en quién atrae más inversión tecnológica.

También debería preguntarse:

¿Quién puede desarrollar inteligencia artificial sin sacrificar los derechos de sus ciudadanos?

Ese debería ser uno de los criterios para medir la calidad de una política pública sobre IA.

 

6.12. La gran pregunta: ¿ley o capacidad institucional?

Llegamos así a una conclusión fundamental.

El debate peruano sobre inteligencia artificial no debería reducirse a:

“Tenemos que crear más leyes.”

La pregunta debería ser:

“¿Tenemos instituciones capaces de hacer cumplir las leyes que ya tenemos?”

Porque podemos aprobar una nueva norma mañana.

Podemos crear nuevos principios.

Podemos establecer nuevas obligaciones.

Pero si una persona perjudicada por un algoritmo no puede reclamar, si una autoridad no puede investigar, si un organismo no tiene especialistas y si una empresa puede ocultarse detrás de la complejidad tecnológica, entonces el problema continuará.

La regulación necesita dientes.

Necesita capacidad de fiscalización.

Necesita recursos.

Necesita especialistas.

Necesita procedimientos.

Y, sobre todo, necesita mecanismos que permitan que una persona común pueda enfrentarse jurídicamente a una organización que posee mucho más poder tecnológico y económico.

 

6.13. Una crítica que puede generar polémica

Podemos formular una posición bastante confrontacional:

El Perú no tiene solamente el desafío de regular la inteligencia artificial; tiene el desafío de demostrar que puede hacer cumplir una regulación tecnológica en un Estado donde muchas veces la existencia de una ley no garantiza su eficacia.

Esta afirmación no significa que la Ley N.° 31814 o su Reglamento sean inútiles.

Significa algo diferente:

una buena norma es solamente el primer paso.

La verdadera prueba comenzará cuando una persona resulte perjudicada por una decisión automatizada y acuda al Estado buscando protección.

Ese será el momento en que la regulación tendrá que demostrar si realmente funciona.

 

6.14. Conclusión del capítulo

Perú ha avanzado al reconocer jurídicamente la importancia de la inteligencia artificial y establecer un marco normativo específico mediante la Ley N.° 31814 y su Reglamento aprobado por el Decreto Supremo N.° 115-2025-PCM.

Por tanto, ya no sería correcto afirmar que el Perú se encuentra en un vacío regulatorio.

Sin embargo, la existencia de una regulación no garantiza por sí misma la protección efectiva de los ciudadanos.

El verdadero desafío está en convertir los principios jurídicos en mecanismos reales de:

prevención + supervisión + fiscalización + sanción + reparación.

La cuestión central, entonces, ya no es:

“¿Tiene Perú una ley de inteligencia artificial?”

La pregunta verdaderamente incómoda es:

“Cuando una inteligencia artificial perjudique a un ciudadano peruano, ¿tendrá el Estado la capacidad real de descubrir qué ocurrió, determinar quién fue responsable y reparar el daño?”

Y podemos cerrar el capítulo con una frase contundente:

“Una regulación que no puede hacerse cumplir protege únicamente en el papel; y frente a una inteligencia artificial cada vez más poderosa, el papel no será suficiente.”

VII. México: regulación, ética e innovación

 

El caso mexicano resulta especialmente interesante para este ensayo porque permite observar un escenario diferente al peruano. Mientras Perú ya cuenta con una ley específica sobre inteligencia artificial y su respectivo reglamento, México se encuentra en un proceso activo de construcción de un marco regulatorio integral, con diversas iniciativas legislativas presentadas durante 2026.

Por ello, sería impreciso afirmar que México simplemente “no regula” la inteligencia artificial. Lo que existe actualmente es un intenso proceso legislativo orientado a definir cómo debe regularse, qué autoridades deben intervenir, qué derechos deben protegerse y qué responsabilidades deben asumir quienes desarrollan o utilizan estos sistemas.

Por ejemplo, en abril de 2026 se presentó en el Senado una iniciativa para facultar al Congreso de la Unión a expedir una Ley General de Inteligencia Artificial, proponiendo establecer principios y mecanismos de coordinación para el desarrollo, uso, aplicación, supervisión y control de estos sistemas, con énfasis en derechos humanos, seguridad jurídica, transparencia, innovación y ética digital. La iniciativa permanecía pendiente en comisiones.

Esta situación convierte a México en un interesante contraste con Perú.

La pregunta ya no es simplemente:

¿Debe México regular la inteligencia artificial?

La discusión es mucho más compleja:

¿Cómo debe regularla sin convertir la regulación en un obstáculo para la innovación tecnológica?

 

7.1. México ante una decisión histórica

La inteligencia artificial está avanzando con una velocidad que dificulta que los legisladores puedan anticipar todos sus posibles usos.

Cada nueva tecnología puede generar nuevas preguntas jurídicas.

¿Qué ocurre con la IA generativa?

¿Qué ocurre con los sistemas de reconocimiento biométrico?

¿Qué ocurre con las decisiones automatizadas?

¿Qué ocurre cuando un algoritmo discrimina?

¿Qué ocurre cuando una IA produce información falsa?

¿Qué ocurre cuando un sistema utilizado por el Estado afecta los derechos de un ciudadano?

El legislador mexicano enfrenta, por tanto, una dificultad evidente:

Regular una tecnología que todavía continúa evolucionando.

Si regula demasiado rápido, puede aprobar normas que rápidamente queden desactualizadas.

Si regula demasiado tarde, puede permitir que determinadas prácticas tecnológicas se desarrollen sin controles suficientes.

Este es uno de los grandes dilemas de la regulación contemporánea.

 

7.2. El debate legislativo mexicano

Durante 2026 se han presentado distintas iniciativas relacionadas con la inteligencia artificial.

Una propuesta presentada en abril de 2026 plantea facultar al Congreso de la Unión para expedir una Ley General de Inteligencia Artificial, estableciendo bases de coordinación entre Federación, entidades federativas y municipios para regular el desarrollo, uso, supervisión y control de sistemas de IA.

Otra iniciativa, presentada en febrero de 2026 en el Senado, propuso incorporar reglas sobre sistemas de IA de alto riesgo, transparencia, protección de datos, prohibición de determinadas prácticas y responsabilidad de desarrolladores y operadores por los daños ocasionados, dentro del marco jurídico correspondiente.

Y el debate continuó durante el año. En junio de 2026, una iniciativa constitucional planteó reconocer derechos digitales vinculados con inteligencia artificial, incluyendo transparencia algorítmica, información comprensible sobre decisiones automatizadas, protección frente a discriminación algorítmica e intervención humana revisora. Al momento de su presentación, permanecía pendiente en comisión.

Incluso en agosto de 2026 fue presentada una iniciativa para expedir una Ley Federal para el Desarrollo Ético, Soberano e Inclusivo de la Inteligencia Artificial, que propone, entre otras medidas, un Consejo Nacional de IA, una Plataforma Nacional de Auditoría Algorítmica y un sistema de clasificación por niveles de riesgo.

Esto demuestra algo importante:

México no está ignorando el problema; está intentando decidir qué modelo regulatorio quiere construir.

 

7.3. Ética frente a innovación

Aquí aparece el conflicto central.

Por un lado tenemos:

INNOVACIÓN

Las empresas tecnológicas necesitan libertad para:

• desarrollar nuevos productos;
• experimentar;
• invertir;
• competir;
• mejorar procesos;
• crear nuevos servicios.

Por otro lado tenemos:

DERECHOS

Los ciudadanos necesitan protección frente a:

• discriminación;
• vigilancia excesiva;
• pérdida de privacidad;
• decisiones arbitrarias;
• manipulación;
• fraudes;
• utilización indebida de sus datos.

Y en medio de ambos encontramos al:

ESTADO

Que debe establecer reglas sin convertirse necesariamente en un obstáculo para la innovación.

Por eso, la discusión puede representarse de la siguiente manera:

Estado ↔ empresas tecnológicas ↔ ciudadanos

El problema aparece cuando uno de estos tres actores adquiere un poder excesivo.

 

7.4. ¿Regular demasiado puede ser peligroso?

Aquí debemos presentar también el argumento contrario.

Supongamos que México establece una regulación extremadamente rígida.

Cada nuevo sistema de inteligencia artificial requiere:

• autorización previa;
• múltiples evaluaciones;
• largos procedimientos administrativos;
• auditorías costosas;
• requisitos técnicos difíciles de cumplir.

¿Qué podría ocurrir?

Las grandes empresas probablemente tendrían recursos para cumplir.

Pero las pequeñas empresas, startups y emprendedores tecnológicos podrían quedar en desventaja.

Incluso podrían decidir desarrollar sus productos en otros países.

Por tanto, una regulación excesiva podría producir un efecto contrario al buscado:

proteger a los ciudadanos, pero reducir la capacidad tecnológica del país.

Este argumento no debe ser descartado.

La regulación debe ser inteligente.

 

7.5. Pero la ausencia de regulación también tiene un precio

El problema es que el argumento anterior tiene un límite.

Porque también podemos formular la pregunta contraria:

¿Cuánto estamos dispuestos a sacrificar en derechos humanos para acelerar la innovación?

Supongamos que una empresa desarrolla un sistema extremadamente rentable, pero que discrimina a determinados grupos.

¿Debemos permitirlo porque genera innovación?

Supongamos que una empresa desarrolla un sistema capaz de recopilar enormes cantidades de información personal.

¿Debemos permitirlo porque aumenta su eficiencia?

Supongamos que una institución utiliza IA para tomar decisiones que afectan derechos fundamentales sin explicar cómo llegó a sus conclusiones.

¿Debemos aceptarlo porque el sistema es más rápido que un funcionario?

Aquí aparece una regla que debería orientar cualquier regulación:

La innovación tecnológica no puede convertirse en una excepción al Estado de Derecho.

 

7.6. México y el principio de responsabilidad

Uno de los aspectos más interesantes de las iniciativas mexicanas es que algunas propuestas buscan evitar precisamente el problema analizado en el capítulo III: que la existencia de una inteligencia artificial permita diluir la responsabilidad humana.

Una iniciativa de febrero de 2026 planteó que los desarrolladores y operadores de sistemas de IA sean responsables de los daños ocasionados por su funcionamiento conforme al marco jurídico aplicable.

Esta propuesta resulta especialmente importante para nuestro ensayo porque refleja una idea central:

La inteligencia artificial no debería convertirse en un mecanismo para escapar de la responsabilidad.

La tecnología puede ser autónoma en determinados procesos.

Pero la responsabilidad jurídica continúa necesitando sujetos identificables.

 

7.7. La transparencia como límite al poder tecnológico

Otro elemento importante del debate mexicano es la transparencia.

Algunas iniciativas planteadas durante 2026 incluyen mecanismos relacionados con:

• transparencia algorítmica;
• explicabilidad;
• trazabilidad;
• supervisión humana;
• protección de datos;
• no discriminación.

Una iniciativa presentada en julio de 2026 para regular el uso de herramientas de IA en determinados actos administrativos o jurisdiccionales planteó, entre otros principios, que las personas servidoras públicas mantengan la responsabilidad sobre los actos y resoluciones en los que se empleen estas herramientas, además de exigir transparencia, trazabilidad, supervisión humana y explicabilidad.

Esta propuesta es particularmente interesante porque plantea una idea que atraviesa todo nuestro ensayo:

La inteligencia artificial puede ayudar a tomar una decisión, pero no debe convertirse en la autoridad invisible que asume la responsabilidad por ella.

 

7.8. El modelo de regulación basada en riesgos

Otro elemento que puede resultar importante para México es la clasificación de los sistemas según el nivel de riesgo.

No todos los sistemas de IA producen las mismas consecuencias.

No es igual una inteligencia artificial que:

recomienda música

que una que:

evalúa a un candidato para un empleo.

Tampoco es igual:

un chatbot comercial

que:

un sistema utilizado para apoyar una decisión judicial o administrativa.

Por ello, algunas iniciativas mexicanas plantean categorías y controles diferenciados según los riesgos de los sistemas. La iniciativa presentada en agosto de 2026, por ejemplo, propone un sistema de “semáforos de riesgos” y una plataforma especializada para auditoría algorítmica.

Esta idea resulta razonable:

A mayor riesgo, mayor control.

No tendría sentido imponer la misma carga regulatoria a una IA utilizada para entretenimiento que a una tecnología capaz de afectar derechos fundamentales.

 

7.9. El problema de quién regula al regulador

Pero existe otra cuestión que debemos introducir.

Si México crea nuevas instituciones para supervisar la inteligencia artificial, debemos preguntarnos:

¿Quién supervisará a esas instituciones?

Porque el poder regulatorio también puede ser utilizado incorrectamente.

Una autoridad con capacidad para:

• autorizar;
• prohibir;
• sancionar;
• auditar;
• acceder a información tecnológica;

también acumula un poder considerable.

Por eso, una regulación moderna necesita mecanismos de:

transparencia + rendición de cuentas + control institucional.

No basta con controlar a las empresas tecnológicas.

También debe controlarse el poder estatal.

 

7.10. México frente al modelo peruano

Aquí aparece una comparación que puede fortalecer considerablemente nuestro ensayo.

Perú

Cuenta con:

Ley N.° 31814 + Reglamento aprobado mediante D.S. N.° 115-2025-PCM.

Por tanto, tiene un marco normativo específico que ahora debe demostrar su eficacia práctica.

México

En 2026 presenta:

múltiples iniciativas legislativas orientadas a construir un marco integral de regulación de IA.

Por tanto, enfrenta principalmente el desafío de definir y consolidar su modelo regulatorio.

Esto permite formular una comparación interesante:

Perú enfrenta el desafío de demostrar que su regulación funciona; México enfrenta el desafío de decidir qué regulación quiere construir.

Pero ambos países terminan enfrentándose al mismo problema:

¿Cómo proteger los derechos de los ciudadanos sin destruir los incentivos para innovar?

 

7.11. Estado versus empresas tecnológicas

Aquí podemos hacer más confrontacional el ensayo.

Las empresas tecnológicas pueden argumentar:

“La regulación excesiva limita la innovación.”

El Estado puede responder:

“Sin regulación, las empresas pueden utilizar la tecnología sin controles suficientes.”

Y el ciudadano podría preguntar:

“¿Y quién protege mis derechos mientras ustedes discuten?”

Esta tercera posición es fundamental.

Porque muchas veces el debate se presenta como una confrontación entre:

Estado y empresas.

Pero existe un tercer actor que no puede desaparecer:

el ciudadano.

La finalidad última de la regulación no debería ser proteger al Estado de la tecnología ni proteger a las empresas de la regulación.

Debe ser:

proteger a las personas frente al uso abusivo del poder tecnológico.

 

7.12. La pregunta polémica

Aquí podemos llevar el argumento al límite:

¿Qué es más peligroso: un Estado que regula demasiado la inteligencia artificial o un mercado tecnológico que puede innovar sin suficientes límites?

No existe una respuesta sencilla.

Un Estado excesivamente controlador puede frenar la innovación.

Pero un mercado sin límites puede convertir los derechos ciudadanos en el costo de la innovación.

Por eso, el objetivo no debería ser elegir entre:

Regulación  o  innovación.

La verdadera cuestión es construir:

innovación regulada, responsable y compatible con los derechos fundamentales.

 

7.13. La confrontación ética

El debate mexicano también nos permite introducir una cuestión ética.

Supongamos que una empresa puede desarrollar una tecnología que es legal, rentable y técnicamente posible, pero que puede generar graves consecuencias sociales.

La pregunta jurídica sería:

“¿Está permitido?”

La pregunta empresarial:

“¿Es rentable?”

Pero la pregunta ética debería ser:

“¿Es correcto hacerlo?”

Estas tres preguntas no siempre tienen la misma respuesta.

Y precisamente ahí aparece la importancia de la ética en la regulación de la inteligencia artificial.

No todo lo legal es necesariamente ético.

Y no todo lo técnicamente posible debería necesariamente realizarse.

 

7.14. México ante una decisión histórica

México tiene una oportunidad importante.

Puede construir una regulación que simplemente reaccione cuando aparezcan los problemas.

O puede intentar desarrollar un modelo preventivo basado en:

• derechos humanos;
• transparencia;
• evaluación de riesgos;
• supervisión humana;
• responsabilidad;
• protección de datos;
• auditoría;
• participación ciudadana.

Las iniciativas presentadas durante 2026 muestran precisamente que el debate está avanzando hacia cuestiones como derechos digitales, transparencia algorítmica, supervisión humana, auditoría y responsabilidad.

Pero debemos recordar algo:

Una iniciativa legislativa todavía no es una ley.

Varias de las propuestas consultadas permanecían pendientes en comisión al momento de su presentación.

Por eso, nuestro análisis debe distinguir cuidadosamente entre propuestas legislativas y normas efectivamente vigentes.

México se encuentra ante un dilema jurídico y político complejo. Por un lado, necesita aprovechar el potencial de la inteligencia artificial para impulsar innovación, productividad y desarrollo. Por otro, debe impedir que la búsqueda de competitividad tecnológica convierta a los ciudadanos en simples objetos de experimentación algorítmica.

El debate legislativo de 2026 muestra que existen propuestas orientadas hacia una regulación basada en derechos humanos, transparencia, ética, responsabilidad, supervisión y evaluación de riesgos.

Sin embargo, el desafío no consiste únicamente en aprobar una ley.

La verdadera prueba será determinar si México consigue construir un sistema en el que la innovación tecnológica tenga libertad para desarrollarse, pero no libertad para vulnerar derechos.

Y aquí podemos cerrar con una frase fuerte:

“El Estado no debe tener miedo de la innovación, pero tampoco debe permitir que la innovación tenga miedo de los derechos humanos.”

 

 

 

VIII. Perú y México: dos caminos frente a un mismo desafío

La comparación entre Perú y México permite observar que la inteligencia artificial no plantea únicamente un problema tecnológico, sino también un problema de capacidad jurídica e institucional. Ambos países reconocen la necesidad de proteger derechos frente a los riesgos de la IA, pero han seguido caminos diferentes.

Perú ha optado por avanzar mediante una regulación específica, mientras que México se encuentra desarrollando y discutiendo distintas propuestas legislativas para construir un marco más amplio. Por ello, no sería correcto afirmar simplemente que uno de los dos países está “mejor regulado”. La verdadera pregunta es otra:

¿Cuál de los dos países está mejor preparado para convertir sus principios jurídicos en protección efectiva para sus ciudadanos?

Esta diferencia resulta fundamental. Tener una regulación no garantiza necesariamente su eficacia, del mismo modo que tener muchas iniciativas legislativas no garantiza que los derechos estén protegidos.

8.1. Dos caminos diferentes

Perú y México parten de una preocupación común: aprovechar los beneficios de la inteligencia artificial sin permitir que su desarrollo afecte injustificadamente los derechos de las personas.

Sin embargo, sus caminos presentan diferencias importantes.

En Perú existe un marco específico compuesto por la Ley N.° 31814 y su Reglamento, aprobado mediante el Decreto Supremo N.° 115-2025-PCM.

En México, durante 2026, el debate legislativo ha mostrado múltiples propuestas orientadas a establecer reglas sobre desarrollo, uso, supervisión, transparencia, derechos digitales, auditoría y responsabilidad de la inteligencia artificial. Algunas de estas iniciativas permanecían pendientes en comisiones al momento de su presentación.

Por tanto, podemos resumir la diferencia inicial de la siguiente manera:

Perú está enfrentando el problema de la aplicación de una regulación existente; México está enfrentando el desafío de construir y consolidar un modelo regulatorio integral.

 

8.2. Comparación entre Perú y México

Aspecto	Perú	México
Regulación específica	Ley N.° 31814 y Reglamento aprobado por D.S. N.° 115-2025-PCM	Debate e iniciativas legislativas para construir un marco más integral
Ética	Incorporada como orientación dentro del marco regulatorio	Presente de manera importante en las propuestas y el debate legislativo
Transparencia	Principio relevante para el uso responsable de IA	Tema central de diversas propuestas, incluida la transparencia algorítmica
Supervisión humana	Forma parte del enfoque de uso responsable	Ha sido planteada expresamente en diversas iniciativas
Responsabilidad	Constituye uno de los desafíos de aplicación práctica	Diversas propuestas buscan definir responsabilidades de desarrolladores y operadores
Protección de derechos	Vinculada al marco de uso responsable de IA	Uno de los ejes del debate sobre derechos digitales e IA
Problema principal	Eficacia, fiscalización y aplicación práctica	Construcción y consolidación de un marco regulatorio integral
Desafío principal	Hacer cumplir la regulación	Regular sin frenar la innovación

 

 

La comparación muestra algo importante: Perú tiene el problema de la eficacia. México tiene el problema del diseño regulatorio.

Pero ambos terminarán enfrentándose al mismo desafío: hacer que la tecnología avance sin permitir que los derechos humanos queden rezagados.

 

8.3. Perú: el desafío de hacer cumplir

El caso peruano presenta una paradoja.

El país ya cuenta con una regulación específica sobre inteligencia artificial. Esto representa un avance porque existe un marco jurídico desde el cual pueden desarrollarse políticas, obligaciones y mecanismos de supervisión.

Pero precisamente por existir una regulación, la exigencia ahora es mayor.

Ya no podemos preguntarnos: “¿Por qué el Perú no tiene una ley de IA?”

La pregunta ahora debe ser: “¿Qué tan eficaz será esa regulación cuando ocurra el primer conflicto serio entre inteligencia artificial y derechos ciudadanos?”

Imaginemos que una persona afirma haber sido discriminada por un algoritmo utilizado para acceder a un crédito.

La norma puede reconocer principios de protección.

Pero la persona necesitará algo más:

• una autoridad que la escuche;
• capacidad para investigar;
• acceso a información;
• especialistas técnicos;
• mecanismos para determinar responsabilidades;
• una decisión dentro de un plazo razonable;
• y, eventualmente, reparación.

Aquí aparece la diferencia entre derecho reconocido y derecho efectivo.

 

8.4. México: el desafío de construir las reglas

México enfrenta una situación diferente.

El debate legislativo de 2026 muestra propuestas que buscan abordar cuestiones como derechos digitales, transparencia algorítmica, responsabilidad, supervisión humana, auditoría y clasificación de riesgos.

Esto puede representar una ventaja.

¿Por qué?

Porque México tiene la posibilidad de observar experiencias internacionales y problemas que ya comienzan a aparecer en otros países antes de consolidar definitivamente su propio marco.

Pero también existe un riesgo: discutir demasiado y regular demasiado tarde.

La inteligencia artificial no espera a que termine el debate legislativo.

Las empresas continúan implementándola.

Las instituciones continúan utilizándola.

Los ciudadanos continúan interactuando con sistemas automatizados.

Por ello, el desafío mexicano es encontrar un equilibrio entre deliberación jurídica y velocidad tecnológica.

 

8.5. Ética: un problema común

Aunque Perú y México presenten diferencias regulatorias, existe un punto de encuentro:

la necesidad de incorporar la ética al desarrollo de la inteligencia artificial.

Pero debemos hacer una precisión.

La ética y el Derecho no son exactamente lo mismo.

La ética puede preguntar: ¿Está bien hacer esto?

El Derecho pregunta: ¿Está permitido? ¿Qué obligaciones existen? ¿Quién responde si se incumplen?

Por eso, una regulación de IA no debería limitarse a decir que la inteligencia artificial debe utilizarse “éticamente”.

También debe establecer: qué significa actuar éticamente, quién debe cumplirlo, cómo se controla y qué sucede cuando se incumple.

De lo contrario, la ética podría convertirse simplemente en una declaración de buenas intenciones.

 

8.6. Transparencia: el punto donde ambos países se encuentran

Otro elemento común es la transparencia.

Como hemos analizado anteriormente, una persona no debería quedar completamente indefensa frente a una decisión automatizada.

Si un algoritmo influye significativamente en una decisión que afecta sus derechos, debe existir algún mecanismo que permita comprender y cuestionar esa decisión.

Aquí encontramos una cuestión especialmente importante:

¿Quién tiene más información: la persona afectada o la organización que utiliza el algoritmo?

Generalmente, la organización.

Y esa diferencia puede generar una enorme asimetría de poder.

Por ello, tanto Perú como México necesitan desarrollar mecanismos que reduzcan esa desigualdad informativa.

 

8.7. Supervisión humana: ¿realidad o formalidad?

Los dos modelos también deben enfrentar otro problema:

¿Qué significa realmente que exista supervisión humana?

Supongamos que una institución utiliza IA para recomendar determinadas decisiones.

Un funcionario recibe la recomendación.

No revisa los datos.

No cuestiona el resultado.

No analiza posibles errores.

Simplemente presiona:

“Aceptar”.

¿Podemos afirmar realmente que hubo supervisión humana?

Probablemente no.

La supervisión humana debería significar que existe una persona con capacidad real para:

• revisar;
• cuestionar;
• modificar;
• rechazar;
• justificar;
• detener una decisión automatizada.

De lo contrario, la supervisión sería simplemente una formalidad.

Y aquí encontramos otra frase poderosa para nuestro ensayo:

“Poner a una persona delante de un algoritmo no significa necesariamente mantener el control humano.”

 

8.8. ¿Quién está mejor preparado?

Esta es probablemente la pregunta más polémica de este capítulo.

¿Perú está mejor preparado porque ya tiene una regulación específica?

¿México está mejor preparado porque puede construir su regulación aprendiendo de experiencias previas?

La respuesta no puede ser simplemente Perú o México.

Porque existen dos tipos diferentes de preparación.

Perú tiene una ventaja: ya posee un marco normativo específico.

Pero enfrenta una dificultad:  demostrar que puede hacerlo cumplir.

México tiene una ventaja: puede construir un modelo más amplio tomando en consideración los problemas que ya han sido identificados.

Pero enfrenta una dificultad: La inteligencia artificial ofrece grandes beneficios, pero también plantea importantes desafíos jurídicos y éticos. La responsabilidad no debe atribuirse a la máquina, sino a las personas, empresas e instituciones que diseñan, implementan o utilizan estos sistemas.

Perú y México enfrentan el reto de lograr un equilibrio entre innovación tecnológica y protección de los derechos fundamentales. Para ello, se necesitan transparencia, supervisión, protección de datos, mecanismos de impugnación y responsables claramente identificados.

La inteligencia artificial puede ser eficiente, pero esa eficiencia nunca debe estar por encima de la dignidad, la igualdad y los derechos fundamentales de las personas.

Convertir el debate legislativo en normas eficaces sin retrasarse frente al desarrollo tecnológico.

Por eso: Perú tiene que demostrar eficacia; México tiene que demostrar capacidad de construcción regulatoria.

 

8.9. No debemos copiar modelos extranjeros

Esta comparación también permite cuestionar una práctica frecuente en el Derecho:

copiar una regulación extranjera pensando que automáticamente funcionará en nuestro país.

La inteligencia artificial puede ser global.

Pero las instituciones no lo son.

Las empresas no operan exactamente igual.

Las capacidades de fiscalización son diferentes.

Los sistemas judiciales son diferentes.

Las realidades económicas y sociales son diferentes.

Por tanto, una regulación que funciona razonablemente bien en un país puede ser poco eficaz en otro.

La regulación debe considerar:

• capacidad institucional;
• recursos públicos;
• estructura empresarial;
• protección de datos;
• sistema judicial;
• nivel tecnológico;
• realidad económica;
• características sociales.

Esto significa que Perú no debería copiar a México, y México tampoco debería copiar automáticamente a Perú.

Ambos deben aprender de las experiencias externas, pero desarrollar soluciones compatibles con su propia realidad.

 

8.10. La verdadera comparación: norma contra realidad

Aquí podemos llevar el argumento un poco más lejos.

Quizá la verdadera comparación no debería ser:

Perú vs. México.

Debería ser: Norma vs. realidad.

Porque un país puede tener una legislación extraordinariamente avanzada y, sin embargo, no contar con capacidad para aplicarla.

Otro país puede tener una regulación todavía incompleta, pero poseer instituciones con mayor capacidad tecnológica y administrativa.

Entonces surge una pregunta mucho más profunda: ¿Qué es más importante: tener la mejor ley o tener la capacidad de hacer cumplir razonablemente una ley imperfecta?

La respuesta no es sencilla.

Pero para nuestro ensayo podemos defender una posición: Una norma técnicamente perfecta pero imposible de aplicar puede ser menos útil que una regulación razonable acompañada de instituciones capaces de hacerla cumplir.

 

8.11. El ciudadano como punto de comparación

Finalmente, debemos colocar al ciudadano en el centro de la comparación.

Porque la finalidad última de la regulación no debería ser demostrar que Perú tiene más normas que México, ni que México tiene más iniciativas que Perú.

La verdadera pregunta es:

¿Qué ocurre con una persona cuando la inteligencia artificial se equivoca?

Si una persona pierde un empleo.

Si le rechazan un crédito.

Si recibe una clasificación incorrecta.

Si sus datos son utilizados indebidamente.

Si es discriminada.

Si una institución pública adopta una decisión automatizada equivocada.

Entonces necesitará algo más que una declaración de principios.

Necesitará protección jurídica efectiva.

 

8.12. Una confrontación necesaria

La comparación Perú-México nos permite plantear una confrontación entre tres intereses:

EL ESTADO

Quiere regular y proteger el interés público.

LAS EMPRESAS

Quieren innovar, competir y obtener beneficios.

LOS CIUDADANOS

Quieren aprovechar la tecnología sin convertirse en víctimas de ella.

El problema aparece cuando estos intereses entran en conflicto.

Si el Estado regula demasiado: puede frenar la innovación.

Si las empresas tienen libertad absoluta: pueden aumentar los riesgos para los ciudadanos.

Si los ciudadanos quedan sin protección: la innovación puede terminar trasladando sus costos a quienes tienen menos poder.

Por ello, el verdadero objetivo debería ser encontrar un equilibrio:

Innovación + regulación + derechos fundamentales.

 

8.13. La gran pregunta del capítulo

Llegamos así a una pregunta que puede generar una fuerte discusión en la exposición:

¿Qué debería preferir un país como Perú o México: una regulación que avance rápidamente para controlar la inteligencia artificial o una regulación más lenta que permita mayor innovación?

Nuestra posición puede ser: Ni regulación ciega ni innovación sin límites.

La regulación debe ser suficientemente fuerte para proteger derechos, pero suficientemente flexible para permitir innovación.

Y, sobre todo: debe ser capaz de adaptarse a una tecnología que cambia constantemente.

 

8.14. Conclusión: dos caminos, un mismo desafío

Perú y México han adoptado caminos diferentes frente a la inteligencia artificial.

Perú cuenta actualmente con una regulación específica y enfrenta principalmente el desafío de demostrar su eficacia, fiscalización y capacidad de aplicación.

México, por su parte, atraviesa un proceso legislativo en el que distintas iniciativas buscan construir un marco regulatorio que combine innovación, ética, transparencia, responsabilidad y protección de derechos.

Sin embargo, ambos países enfrentan finalmente el mismo problema:

La inteligencia artificial avanza más rápido que la capacidad tradicional del Derecho para regularla.

Por eso, la solución no consiste simplemente en aprobar más leyes.

Se necesita construir instituciones capaces de comprender la tecnología, supervisarla, fiscalizarla y responsabilizar a quienes la utilizan indebidamente.

Y aquí podemos cerrar este capítulo con una afirmación contundente:

“Perú no necesita copiar a México, ni México necesita copiar a Perú. Ambos necesitan algo más difícil: construir un Derecho capaz de proteger a sus ciudadanos sin convertir el miedo a la inteligencia artificial en un obstáculo para el progreso.”

Y una segunda frase puede servir como transición hacia el siguiente capítulo:

“Porque el verdadero éxito de una regulación de inteligencia artificial no se medirá por cuántas leyes se aprueben, sino por lo que suceda el día en que un ciudadano sea perjudicado por un algoritmo y el Estado sea capaz —o incapaz— de defenderlo.”

 

IX. ¿QUIÉN DEBE RESPONDER CUANDO LA INTELIGENCIA ARTIFICIAL CAUSA UN DAÑO?

Allí podemos confrontar directamente responsabilidad civil, administrativa y penal, analizar desarrollador vs. empresa usuaria vs. Estado, y terminar planteando la tesis más polémica del ensayo:

“No existe inteligencia artificial verdaderamente autónoma cuando detrás de ella existen personas que decidieron crearla, venderla, implementarla o utilizarla.”

Principio del formulario

 

 

X. ÉTICA VERSUS LEGALIDAD: ¿TODO LO LEGAL ES NECESARIAMENTE CORRECTO?

El cumplimiento de la ley constituye un límite mínimo que toda empresa debe respetar, pero no necesariamente representa el máximo nivel de responsabilidad que debería asumir. Una conducta puede ser legal y, al mismo tiempo, generar cuestionamientos éticos.

El Derecho responde principalmente a la pregunta: ¿Está permitido hacerlo?

Mientras que la ética plantea una pregunta diferente: ¿Está bien hacerlo?

Esta diferencia adquiere especial importancia en el uso de la inteligencia artificial y de los datos personales. Una empresa podría contar con una autorización legal para recopilar o utilizar determinada información. Sin embargo, ello no significa automáticamente que sea ético utilizar todos esos datos para perfilar personas, predecir su comportamiento o tomar decisiones que puedan afectar sus oportunidades.

Por ejemplo, una empresa podría utilizar información disponible legalmente para desarrollar un sistema automatizado que determine qué clientes tienen mayor riesgo de incumplimiento. La pregunta jurídica sería si tiene derecho a utilizar esos datos; la pregunta ética sería si resulta justo utilizar esa información para excluir o perjudicar a determinadas personas.

En este sentido, la ética introduce elementos que pueden ir más allá del simple cumplimiento normativo: dignidad humana, justicia, transparencia, igualdad, responsabilidad y respeto por la autonomía de las personas.

Por ello, puede sostenerse una idea fundamental:

La legalidad debería ser el mínimo de responsabilidad, no el máximo.

Una empresa verdaderamente responsable no debería preguntarse únicamente “¿la ley me permite hacerlo?”, sino también “¿debería hacerlo?” y “¿qué consecuencias tendrá para las personas?”.

Esta perspectiva resulta especialmente relevante frente al desarrollo de la inteligencia artificial, porque la velocidad de la innovación tecnológica puede superar la capacidad del Derecho para anticipar y regular todos sus posibles efectos.

 

XI. EL VERDADERO PELIGRO: UTILIZAR LA IA PARA ESCAPAR DE LA RESPONSABILIDAD

 

El verdadero peligro de la inteligencia artificial no consiste únicamente en que pueda cometer errores. El problema aparece cuando las personas utilizan esos errores como una excusa para evitar asumir responsabilidad.

Imaginemos diferentes situaciones:

• Una empresa discrimina a determinados clientes → “Fue el algoritmo”.
• Un funcionario toma una decisión injusta → “El sistema lo determinó”.
• Una institución perjudica a una persona → “Fue una decisión automatizada”.
• Un profesional comete un error → “La IA se equivocó”.

En todos estos casos aparece una pregunta fundamental:

¿Quién responde cuando una decisión tomada con inteligencia artificial perjudica a una persona?

La respuesta no puede ser simplemente “el algoritmo”, porque un algoritmo no debería convertirse en el responsable jurídico de las decisiones humanas. Detrás de un sistema de inteligencia artificial existen personas que lo diseñan, empresas que lo implementan, instituciones que lo utilizan y autoridades que deben supervisar su funcionamiento.

Por ello, resulta peligroso construir una especie de “zona de impunidad tecnológica”, en la que nadie asuma responsabilidad porque la decisión fue tomada o asistida por una máquina.

La frase “No fui yo, fue el algoritmo” podría convertirse en una nueva forma de evadir responsabilidades. Y ese sería un problema jurídico mucho más profundo que el simple error tecnológico.

La inteligencia artificial puede automatizar una decisión, pero no debería automatizar la responsabilidad.

En consecuencia, el desarrollo de la IA debe estar acompañado de mecanismos claros de supervisión, transparencia, trazabilidad y atribución de responsabilidad. La persona afectada debe poder saber quién tomó la decisión, cómo se produjo y ante quién puede reclamar.

La Organisation for Economic Co-operation and Development (OCDE) incorpora precisamente la responsabilidad entre los principios para una inteligencia artificial confiable.

Por eso, una conclusión contundente para este capítulo podría ser:

La inteligencia artificial puede tomar decisiones, pero nunca debería convertirse en una excusa para que los seres humanos dejen de responder por ellas.

Y una frase todavía más confrontacional para tu ensayo:

“Si una empresa puede utilizar la IA para tomar decisiones que afectan a una persona, también debe poder responder jurídicamente por las consecuencias de esas decisiones”.

 

 

XII. ¿ESTAMOS CREANDO UNA NUEVA DESIGUALDAD?

El debate sobre la inteligencia artificial no debería limitarse a preguntar qué tan avanzada es la tecnología, sino también quién tiene el poder para utilizarla y quién queda sometido a sus decisiones.

No todas las personas ocupan la misma posición frente a la IA. Algunas empresas e instituciones tienen la capacidad económica y tecnológica para diseñar algoritmos, recopilar grandes cantidades de datos, controlar plataformas y determinar las reglas bajo las cuales funcionan determinados sistemas.

Mientras tanto, millones de personas se encuentran en una posición completamente diferente. Simplemente:

• entregan sus datos;
• utilizan plataformas digitales;
• aceptan términos y condiciones que muchas veces no leen;
• reciben decisiones automatizadas;
• y, en ocasiones, desconocen cómo esas decisiones fueron tomadas.

Aquí aparece una nueva forma de desigualdad:

Los que diseñan las reglas algorítmicas frente a los que viven sometidos a ellas.

El problema jurídico surge cuando una persona no tiene capacidad real para conocer, cuestionar o impugnar una decisión tomada mediante un sistema automatizado.

Imaginemos que una persona solicita un crédito y un sistema de inteligencia artificial determina que representa un alto riesgo. La entidad podría simplemente comunicarle que su solicitud fue rechazada. Pero si la persona desconoce qué datos fueron utilizados, qué criterios se aplicaron y por qué el sistema llegó a esa conclusión, ¿cómo podría defenderse?

Aquí aparece una cuestión fundamental para el Estado de Derecho:

¿Puede existir verdadera igualdad ante la ley cuando una parte conoce y controla las reglas algorítmicas y la otra simplemente está sometida a ellas?

La democracia tampoco puede reducirse a votar periódicamente. En una sociedad cada vez más digitalizada, también implica que las personas tengan capacidad para comprender, cuestionar y controlar las decisiones que afectan sus derechos.

Por ello, la regulación de la inteligencia artificial no debería preocuparse únicamente por promover la innovación. También debe evitar que la tecnología produzca nuevas formas de concentración de poder y desigualdad.

La cuestión de fondo no es solamente quién tiene acceso a la inteligencia artificial, sino:

¿Quién controla las reglas de la inteligencia artificial y quién controla a quienes controlan esas reglas?

Esta pregunta permite conectar directamente la IA con los derechos fundamentales, la democracia y el Estado de Derecho. Porque si la tecnología concentra demasiado poder en manos de unos pocos y deja al resto de la sociedad sin capacidad efectiva de cuestionar sus decisiones, el problema deja de ser exclusivamente tecnológico y se convierte en un problema jurídico y democrático.

 

XIII. Propuesta: hacia una responsabilidad algorítmica

Hasta este punto, el análisis ha mostrado que la inteligencia artificial puede generar problemas relacionados con la privacidad, la discriminación, la desigualdad, la transparencia y la atribución de responsabilidad. Sin embargo, limitarse a señalar estos riesgos sería insuficiente. El Derecho no solo debe identificar los problemas; también debe establecer mecanismos para prevenirlos y responder frente a sus consecuencias.

Por ello, resulta necesario avanzar hacia un modelo de responsabilidad algorítmica, basado en los siguientes principios:

1. Transparencia

Las personas deben saber cuándo una decisión que puede afectar sus derechos ha sido tomada o influenciada significativamente por un sistema de inteligencia artificial. No debería existir una automatización invisible que impida al ciudadano conocer cómo se tomó una decisión que lo afecta.

2. Explicabilidad

No basta con informar que “el algoritmo decidió”. Cuando una decisión tenga consecuencias relevantes, debe existir una explicación comprensible sobre los principales factores que influyeron en ella.

3. Supervisión humana

Las decisiones de alto impacto —por ejemplo, aquellas relacionadas con empleo, crédito, educación, salud, justicia o acceso a determinados servicios— no deberían quedar completamente en manos de sistemas automatizados. Debe existir intervención y supervisión humana efectiva.

4. Responsabilidad

Debe estar claramente identificado quién responde cuando un sistema de IA causa un daño. La utilización de tecnología no puede convertirse en un mecanismo para trasladar la responsabilidad al algoritmo.

La automatización de una decisión no debe significar la automatización de la responsabilidad.

5. Auditorías

Los sistemas de inteligencia artificial que puedan generar riesgos importantes deberían someterse a evaluaciones y auditorías periódicas, destinadas a detectar errores, sesgos, discriminación, vulnerabilidades y otros impactos negativos.

6. Protección de datos personales

La utilización de grandes cantidades de información no puede justificar cualquier tratamiento de datos. Las empresas y entidades deben respetar los principios y derechos relacionados con la protección de datos personales, especialmente cuando la información se utiliza para elaborar perfiles o tomar decisiones sobre individuos.

7. Derecho a impugnar

Una persona afectada por una decisión automatizada debe tener la posibilidad de cuestionarla, solicitar una revisión y obtener una respuesta. No puede existir una decisión prácticamente imposible de impugnar porque se encuentra protegida detrás de la complejidad técnica del algoritmo.

8. Ética

Finalmente, debemos reconocer que la capacidad técnica no equivale a legitimidad.

Que una empresa pueda recopilar un determinado dato, predecir un comportamiento o automatizar una decisión no significa necesariamente que deba hacerlo.

Por ello: No todo lo que técnicamente puede hacerse debería hacerse.

La idea central de la propuesta

La regulación de la inteligencia artificial no debería buscar detener la innovación, sino conseguir que la innovación tecnológica se desarrolle dentro de límites compatibles con los derechos fundamentales.

En consecuencia, una verdadera responsabilidad algorítmica debería responder a cinco preguntas básicas:

¿Quién utiliza la IA?
¿Qué datos utiliza?
¿Cómo toma la decisión?
¿A quién afecta?
¿Quién responde si causa un daño?

Si el Derecho consigue responder claramente estas cinco preguntas, la inteligencia artificial podrá convertirse en una herramienta de progreso sin convertirse en una herramienta de impunidad.

El desafío no es elegir entre tecnología y derechos. El verdadero desafío es construir una tecnología sometida al Derecho, a la ética y a la dignidad humana.

Principio del formulario

 

XIV. CONCLUSIONES

La inteligencia artificial representa uno de los mayores desafíos jurídicos de nuestro tiempo, no solamente por su capacidad tecnológica, sino porque está modificando la manera en que las personas, las empresas y las instituciones toman decisiones que pueden afectar derechos fundamentales. Frente a esta transformación, el Derecho no puede limitarse a regular la tecnología después de que los problemas hayan ocurrido; debe anticiparse a sus posibles consecuencias.

Una primera conclusión es que la inteligencia artificial no debe convertirse en un sujeto al que se atribuyan nuestros errores para evitar responsabilidades humanas. La máquina puede procesar información, identificar patrones y generar decisiones o recomendaciones, pero no puede asumir responsabilidad moral ni convertirse, por sí misma, en el verdadero responsable jurídico de las consecuencias que produce su utilización.

La máquina no puede convertirse en el responsable perfecto, porque no puede defenderse, ser sancionada como una persona ni responder moralmente por sus actos.

Detrás de cada sistema de inteligencia artificial existen personas, empresas, instituciones y decisiones humanas. Por ello, cuando un algoritmo discrimina, vulnera la privacidad, genera un perjuicio o produce una decisión injusta, debe ser posible identificar quién diseñó, implementó, autorizó, supervisó o utilizó dicho sistema.

Una segunda conclusión es que la legalidad no puede ser el límite máximo de la responsabilidad. Que una determinada utilización de la inteligencia artificial sea legal no significa necesariamente que sea ética. El Derecho establece un mínimo obligatorio, mientras que la ética exige preguntarnos si aquello que hacemos respeta realmente la dignidad, la igualdad, la justicia y la autonomía de las personas.

Una tercera conclusión es que la IA puede generar nuevas formas de desigualdad. Quienes poseen los datos, controlan las plataformas y diseñan los algoritmos tienen un poder considerablemente mayor que quienes simplemente entregan sus datos y reciben decisiones automatizadas. Por ello, la regulación debe impedir que la tecnología cree una relación en la que unos pocos diseñen las reglas algorítmicas mientras millones de personas simplemente estén sometidas a ellas.

En el caso del Perú, el desafío consiste en demostrar que el marco regulatorio existente puede convertirse en mecanismos efectivos de protección, supervisión y responsabilidad. No basta con reconocer principios jurídicos; es necesario garantizar que estos puedan aplicarse en la realidad y que las personas afectadas tengan mecanismos efectivos para conocer, cuestionar e impugnar decisiones que vulneren sus derechos.

En México, el reto consiste en continuar construyendo un marco jurídico capaz de equilibrar la innovación y el desarrollo tecnológico con la protección efectiva de los derechos fundamentales.

Por ello, ambos países enfrentan una pregunta común:

¿Queremos una inteligencia artificial que simplemente sea eficiente o una inteligencia artificial que, además de eficiente, sea jurídicamente responsable y éticamente legítima?

La posición que sostiene este ensayo es clara:

La eficiencia nunca puede estar por encima de los derechos fundamentales.

Si una inteligencia artificial permite tomar decisiones más rápidas, pero menos transparentes; más económicas, pero discriminatorias; o más eficientes, pero sin responsables identificables, el problema no es necesariamente que la tecnología haya avanzado demasiado. El verdadero problema es que el Derecho, las instituciones y la ética no han avanzado al mismo ritmo.

En definitiva, el progreso tecnológico no debe medirse únicamente por lo que la inteligencia artificial es capaz de hacer, sino también por nuestra capacidad para garantizar que aquello que puede hacer sea compatible con la dignidad, la libertad, la igualdad y los derechos de las personas. El desafío del Derecho no es detener la inteligencia artificial, sino conseguir que su desarrollo permanezca sometido a la responsabilidad humana, al Estado de Derecho y a los derechos fundamentales.

 

 

 

Referencias bibliográficas

Congreso de la República del Perú. (2023). Ley N.° 31814, Ley que promueve el uso de la inteligencia artificial en favor del desarrollo económico y social del país. Gobierno del Perú. Ley N.° 31814

Presidencia del Consejo de Ministros. (2025). Decreto Supremo N.° 115-2025-PCM: Reglamento de la Ley N.° 31814, Ley que promueve el uso de la inteligencia artificial en favor del desarrollo económico y social del país. Gobierno del Perú. Decreto Supremo N.° 115-2025-PCM

Senado de la República. (2023). Analizan en el Senado modelo para regular inteligencia artificial. Senado de la República de México. Fuente oficial del Senado de México

UNESCO. (2021). Recomendación sobre la ética de la inteligencia artificial. Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura. Recomendación de la UNESCO sobre ética de la IA

Organisation for Economic Co-operation and Development. (2024). OECD AI Principles. OECD.AI. OECD AI Principles