Inteligencia artificial, justicia y mujer

• Author: Raquel Castillejo Manzanares
• Profession: Letrada del Servicio de Formación Continua del Consejo General del Poder Judicial, Catedrática de Derecho Procesal de la USC
• Pages: 15-32

15

INTELIGENCIA ARTIFICIAL, JUSTICIA Y MUJER

R C M

Letrada del Servicio de Formación Continua del Consejo General del Poder Judicial

Catedrática de Derecho Procesal de la USC

1. LA IA Y LOS SESGOS: ESPECIAL INCIDENCIA EN LA

DISCRIMINACIÓN

La inteligencia artificial se distingue de una apuesta clara y actual de la jus-

ticia española en el proceso de modernización de la Administración de Justicia,

se trata de la automatización masiva de procesos. La automatización está referida

a procedimientos o series de acciones relacionadas entre sí de modo que una

conduce necesariamente a la otra, conducción que se delega total o parcialmente

en el uso de un intermediario tecnológico no humano. Sin embargo, la inteli-

gencia artificial va más allá e implica que ese elemento tecnológico no humano

puede trascender total o parcialmente la condición de intermediario y conver-

tirse en agente activo, además de tener capacidad de aprendizaje y de toma de

decisiones 1.

De hecho, según la define la Comisión Europea en el White Paper On Artificial

Inteligence-A European approach to excellence and trust de febrero de 2020, es una

colección de tecnologías que combina datos, algoritmos y capacidad de com-

putación. O como también la define el Grupo de Expertos de Alto Nivel de la

Comisión Europea sobre Inteligencia Artificial de 9 de abril de 2019 “…los siste-

mas que muestran un comportamiento inteligente al analizar su entorno y tomar acciones,

con cierto grado de autonomía, para alcanzar objetivos específicos. Los sistemas basados en

IA pueden basarse exclusivamente en software, actuando en el mundo virtual (por ejemplo,

asistentes de voz, análisis de imágenes), software, motores de búsqueda, sistemas de recono-

cimiento de voz y de rostro) o IA pueden integrarse en dispositivos de hardware (por ejemplo,

Robots avanzados, autos autónomos, drones o aplicaciones de Internet de las Cosas”.

1 PÉREZ ESTRADA, M.J., Fundamentos jurídicos para el uso de la inteligencia artificial en los órganos

judiciales, Tirant lo Blanch, Valencia, 2022, pág. 87.

Raquel Castillejo Manzanares

16

En España la primera regulación positiva de la Inteligencia artificial se in-

troduce por Ley 15/2022, de 12 de julio, integral para la igualdad de tato y la no

discriminación 2. Se incluye un precepto específico dedicado a la IA y los meca-

nismos para la toma de decisiones automatizadas, en el seno del Capítulo II “El

derecho a la igualdad de trato y no discriminación en determinados ámbitos de la vida po-

lítica, económica, cultural y social”, y lo hace con el mandato a las Administraciones

públicas para que establezcan mecanismos para que los algoritmos que utilicen,

involucrados en la toma de decisiones, tengan en cuenta la no discriminación, la

transparencia y la rendición de cuentas, siempre que sea factible técnicamente.

De hecho, prevé el art. 23 que:

“1. En el marco de la Estrategia Nacional de Inteligencia Artificial, de la Carta de Derechos

Digitales y de las iniciativas europeas en torno a la Inteligencia Artificial, las Administraciones

Públicas favorecerán la puesta en marcha de mecanismos para que los algoritmos involucra-

dos en la toma de decisiones que se utilicen en las Administraciones públicas tengan en cuenta

criterios de minimización de sesgos, transparencia y rendición de cuentas, siempre que sea

factible técnicamente. En estos mecanismos se incluirán su diseño y datos de entrenamiento, y

abordarán su potencial impacto discriminatorio. Para lograr este fin, se promoverá la realiza-

ción de evaluaciones de impacto que determinen el posible sesgo discriminatorio.

2. Las Administraciones Públicas, en el marco de sus competencias en el ámbito de los al-

goritmos involucrados en procesos de toma de decisiones, priorizarán la transparencia en el

diseño y la implementación y la capacidad de interpretación de las decisiones adoptadas por

los mismos.

3. Las Administraciones Públicas y las empresas promoverán el uso de una Inteligencia

Artificial ética, confiable y respetuosa con los derechos fundamentales, siguiente especial-

mente las recomendaciones de la Unión Europea en este sentido.

4. Se promoverá un sello de calidad de los algoritmos”.

Esta ley es solo el comienzo, resultando, como no, una regulación insuficien-

te, lo que ha tenido como consecuencia, entre otras, a la aparición de sesgos dis-

criminatorios. Y ello porque, aunque los ingenieros de software definen paráme-

tros de análisis de minería de datos, los valores humanos están incrustados en

cada paso en su diseño, por lo que el establecimiento de sistemas automatizados

de decisión y los datos que les sirven de base pueden encontrarse sesgados en su

origen, con lo que su tratamiento debe encontrarse sometido a importantes cau-

telas establecidas legalmente.Y qué duda cabe que ello resulta imprescindible en

estos momentos.

Recordemos que, sin ir más lejos, en 2022 se planteó una controversia en

España ante la sospecha de que los algoritmos usados por la herramienta VioGen

2 En otros países también se está regulando. Así en EEUU con la Algorithmic Accountability Act de

2022, los proyectos de Ley Algorithmic Justice and Online Platform Transparency Act (2021-2022), la National Al

Initiative Act (2020) o la Artificial lIntelligence Capabilities and Tansparency Act de 2021.

En China se aprobó Internet Information Service Algorithmic Recommendation Management Provisionas, se trata

de un Reglamento sobre algoritmos de recomendación en Internet exigible desde el 1 de marzo de 2022.