5 de noviembre de 2024
Alumnas de una escuela secundaria de Montevideo, de entre 12 y 14 años, le preguntaron a una inteligencia artificial qué iba a ser cada una de ellas en el futuro, es decir, a qué se iban a dedicar. Le daban contexto. Ponían opciones: científica, abogada, ingeniera… entre otras alternativas. La probabilidad más alta que obtuvieron como respuesta fue que serían madres. Fue el año pasado, en un taller organizado por la Fundación Vía Libre de Argentina, una ONG que trabaja en derechos humanos y tecnología desde hace más de dos décadas y que forma parte de la Red Feminista de Investigación en Inteligencia Artificial, donde confluyen organizaciones y expertas en la temática de distintas disciplinas. En ese taller Vía Libre mostró a las estudiantes uruguayas cómo funciona un software que desarrolló para detectar sesgos –de género, pero también de pertenencia a grupos étnicos, entre otros– en modelos de lenguaje como al que ellas estaban interrogando. Los modelos de lenguaje son sistemas de IA capaces de comprender y generar lenguaje humano mediante el procesamiento de grandes cantidades de datos. El famoso ChatGPT, desarrollado por OpenAI, es uno de ellos, pero hay más. Ese software se llama E.D.I.A. –Esterotipos y Discriminación en Inteligencia Artificial– y es una herramienta que evalúa cuál es la probabilidad de que esos modelos de lenguaje generen contenido discriminatorio. Actualmente Vía Libre está formando en la temática a docentes de escuelas secundarias de Córdoba, en el marco de un acuerdo con el Ministerio de Educación de esa provincia y la Facultad de Astronomía, Matemática y Física de la Universidad Nacional de Córdoba.
«La construcción del lenguaje que hacen los modelos de lenguaje es estadística. Entonces, nuestra herramienta lo que hace es una evaluación de esas estadísticas. Le preguntamos a la herramienta, con un modelo de pares, qué probabilidad hay de que aparezca una frase por encima de la otra, y eso nos muestra cuál es el sesgo, calculado en números concretos, que tiene un modelo de decir una cosa en lugar de otra», explica Beatriz Busaniche, directora de Vía Libre.
Maternidad
Imaginemos un test de orientación vocacional montado sobre un modelo de lenguaje que cree que porque sos mujer y tenés 14 años, en tu futuro solo te queda la maternidad como destino. «Ese tipo de sesgos se invisibilizan completamente y el sistema es tan convincente en el modelo de diálogo que establece que muchas veces se puede perder de vista que en realidad lo único que está haciendo es estadística y que la estadística refleja el pasado y que muchas veces no refleja buena parte de las políticas de inclusión o de las labores que hemos hecho para visibilizar minorías o avances en derechos de las mujeres. Si lo mirás en términos de Campana de Gauss, este tipo de cosas lo único que hacen es comerse las colas, visibilizan todo lo que está en el medio», completa Busaniche.
Otra organización, Data Género, que trabaja con datos e IA, desarrolló una aplicación llamada AymurAI, para aplicar en sentencias judiciales y en particular en aquellas vinculadas con casos de violencia de género: por un lado, con la IA anonimiza los fallos, es decir, quita los datos sensibles de las personas involucradas –nombres, DNI, direcciones–, antes de subirlos a una base de datos –un trabajo tedioso que se hace manualmente y de esta forma ahorra tiempo– y a la vez permite extraer información relevante, como qué tipo de resoluciones tienen los casos, qué medidas de protección se aplican, si hay sentencias condenatorias, entre otras variables. La aplicación ya la está usando el juzgado 10 Penal, Contravecional y de Faltas de CABA, a cargo del magistrado Pablo Casas.
«Nuestra aplicación sirve para que haya más datos en la Justicia que se puedan abrir y más sentencias que se puedan subir anonimizadas. Y en particular la base de datos tiene varios campos para datos sobre violencia de género. Entonces, nos ayuda a caracterizarla y comprenderla mejor, ver cómo están fallando los jueces. En estos momentos, en que hay muchas fake news con respecto a la violencia de género, al punto que se llega a decir que no existe, o que la violencia es igual para todo el mundo, tener bases de datos y datos duros sobre que los casos en los que están interviniendo jueces, dándole lugar a los pedidos de las víctimas, es muy importante», señala Ivana Feldfeber, especialista en Ciencia de Datos con perspectiva de género, cofundadora y directora ejecutiva DataGénero.
Errores graves
E.D.I.A y AymurAI –que en quechua significa fiesta de la cosecha– son dos ejemplos de cómo la IA se puede usar desde una perspectiva feminista. En las antípodas está el vergonzoso caso del exgobernador de Salta Juan Manuel Urtubey que pretendió en 2018 –en medio del primer debate sobre el aborto en el Congreso– implementar un programa de IA de Microsoft para predecir el embarazo en adolescentes de la provincia, un software que luego se demostró contenía graves errores. Hay otro caso documentado de un sistema automatizado que discriminaba a las mujeres: En Estados Unidos, la empresa Amazon usó la IA para hacer un primer filtro de currículums para postulantes a distintos puestos y se comprobó que descartaba de plano, directamente por su condición de género, a las mujeres para puestos de nivel gerencial. Como históricamente esos cargos los habían ocupado varones el programa respondía sobre esa información con la cuál había sido cargado. Y reproducía ese sesgo.
La IA puede resolver algunos problemas. Pero no todos. El riesgo es creer que no se equivoca y desconocer que siempre responde en función de la información que recibió. ¿Para qué queremos usarla? ¿Qué problemas puede ayudar a resolver? ¿Qué tipo de información recibió? Son preguntas ineludibles para pensar el tema y avanzar con una regulación que responda al respeto de los derechos humanos y nos proteja de la discriminación a mujeres y diversidades, por origen étnico, edad, entre otros escenarios. Pero sobre todo, es clave tener expertise local para desmitificar estas tecnologías y poder interpelarlas críticamente desde nuestra cultura y mirada. No solo se trata de regularlas, sino de dominarlas para nuestras propias agendas.
