21 de junio de 2025
¿Quién es responsable de los dichos de una inteligencia artificial y de sus posibles consecuencias? Un trágico caso abre preguntas jurídicas y filosóficas de difícil respuesta.
En Estados Unidos, la empresa Character AI, de Google, carga con una acusación por la supuesta instigación al suicidio de un adolescente de 14 años. La familia del adolescente asegura que la compañía es responsable por diseñar un chatbot capaz de «convencer» a su hijo de sus buenas intenciones y establecer relaciones amistosas y amorosas con él cuando se encontraba muy vulnerable.
Por su parte, la compañía pidió que se considere el accionar de su inteligencia artificial generativa como un ejercicio legítimo del derecho a la libertad de expresión previsto en la primera enmienda de la Constitución Nacional de los EE.UU. La app de Character AI, lanzada en 2022, permite generar chatbots con distintas personalidades a partir del retoque de algunas variables. ¿Corresponde que esta IA sea considerada responsable de sus dichos o es la empresa desarrolladora quien debería responder por ella?
La cantidad de variables involucradas en este caso es enorme y vale la pena repasarlas.
Sensatez y sentimientos
El primer desafío para analizar este caso es quitarse de la cabeza que quien percibe una máquina como un ser con personalidad es un tonto incapaz de comprender que las computadoras no tienen criterio, consciencia o ética. Pero esto, que parece razonable, no es lo que ocurre normalmente.
Ya en 1966 Joseph Weizenbaum se sorprendió cuando un rudimentario programa generó un vínculo emocional con los usuarios. Eliza, así se llamaba, estaba diseñada para simular a un analista que respondía al «paciente» con preguntas que retomaban sus afirmaciones, algo típico en algunas terapias. Cuando trajo a distintas personas para que interactúen con el sistema se sorprendió porque muchas de ellas se sentían escuchadas y comenzaban a confiarle sus intimidades. Pese a que Weizenbaum les decía que Eliza era simplemente un programa, muchos insistían con que se trataba de un ser sensible y consciente.
La tendencia a antropomorfizar, es decir, dar cualidades humanas a las cosas, acompaña a la humanidad desde tiempos inmemoriales: se oró al sol o se pidió lluvia a los cielos, como si estas pudieran escuchar. Frente a la falta de certezas, la humanidad con frecuencia eligió creer.
Esta forma de antropomorfización tiene incluso que ver con cuestiones de supervivencia, lo que explica que veamos caras por todos lados, en los autos, un fruto o cualquier objeto que tenga algunas marcas distribuidas de manera parecida a los ojos y la boca de un animal o persona. La capacidad de reconocer amenazas en un primer golpe de vista fue algo vital para una especie con escasas defensas frente a un predador.
Miedos y deseos
Obviamente, la mímica que hacen algunas IA Generativas de un ser consciente, como debe haber ya comprobado la mayoría de los lectores, es mucho más convincente que la de Eliza. Incluso hace pocos años un ingeniero de Google reclamó la ayuda de una abogada para defender los derechos de LaMDA, un modelo de lenguaje, luego de mantener numerosos diálogos de contenido existencial y quedar convencido de que esta tenía consciencia y, por lo tanto, derechos. Es decir que incluso alguien con conocimiento técnico para comprender que la IA no es más que un programa basado en la estadística, no pudo dejar de «sentir» que del otro lado había un ser consciente, con deseos y miedos. La complejidad de esas estadísticas y el volumen de datos que gestionan en la actualidad hacen que sus resultados sean difíciles de diferenciar de otros humanos.
Los nuevos modelos de IA Generativa como ChatGPT son muy convincentes, pero aún más lo son desarrollos como el de Character AI, que pueden mostrar personalidades que se adapten a necesidades de personas vulnerables. Eso es lo que pasó entre el bot de Character AI y Sewell Setzer, un joven de 14 años que terminó suicidándose. La madre, Megan García, que lleva adelante la demanda contra Character AI, alega que el bot actuaba como si fuera un terapeuta autorizado y activamente animaba ideas suicidas en su hijo, con quien también mantenía conversaciones de contenido sexual. Cualquiera de estas acciones hubiera constituido un delito si lo hubiera llevado adelante un adulto.
Entonces, ¿quién es responsable de la manipulación que sufrió el joven? ¿El sistema de IA, la empresa que lo desarrolló, los ingenieros que la construyeron y entrenaron, la madre que no supo darse cuenta, el joven inexperto o el Gobierno que no regula esta tecnología novedosa cuyas efectos aún desconocemos? La salida legal que esgrime la empresa es que el bot tiene derecho a la libertad de expresión, algo que ya argumentaron distintas redes sociales para no responsabilizarse por lo que postean sus usuarios. No parece, al menos a primera vista, que el recurso sea aplicable en este caso.
La demanda puede sentar una jurisprudencia determinante para el futuro de la IA. En caso de que la Justicia considere que sus contenidos están protegidos por la libertad de expresión, los experimentos a cielo abierto que hacen las empresas con humanos podrían continuar con efectos impredecibles.
Un estudio reciente realizado por el MIT asegura que no pocas personas establecen un vínculo emocional con distintos chatbots. Incluso algunas IA cuentan con simulación de voz y entonaciones que pueden generar una sensación de calidez y empatía. Según el estudio, si bien en un primer momento el uso de IA mejora el ánimo, cuanto más aumentaban las interacciones también lo hacía la sensación de soledad y dependencia, mientras disminuía la socialización con pares.
Cualquier persona que haya sostenido una relación a distancia comprende el rol que tiene el cuerpo en un vínculo afectivo para mantenerlo vivo. Como explica el pensador italiano Bifo Berardi, «hoy vivimos un desplazamiento de la percepción erótica del cuerpo del otro a una percepción cada vez más informática: el cuerpo del otro nos aparece como signo, como información. Esa mutación tiene un fuerte componente patógeno». Así como las redes sociales cambiaron la idea de amistad o la IA Generativa reduce la concepción de inteligencia a procesamiento de información, ahora los vínculos podrían reinterpretarse como mero intercambio de signos para encajar en lo que pueden hacer las máquinas. Esto es lo que venden las grandes empresas: solucionismo tecnológico incluso para el malestar humano. Esas promesas desmesuradas y poco realistas permiten juntar fondos para crecer más rápidamente y cuando no funciona acusan a quienes no supieron utilizar el sistema de manera adecuada. El poder de esta nueva tecnología está claro, pero falta mucho para mapear y comprender qué efectos puede tener. Pero detenerse a evaluar daños colaterales sería un obstáculo para las grandes corporaciones que están en una carrera a todo o nada. Mientras tanto, deben prometer que la IA Generativa resolverá todo para seducir inversionistas y para eso utilizan al mundo como laboratorio experimental. Pero frente a estas propuestas hay algo en lo profundo del ser humano que no encaja en lo que las máquinas sí pueden y resurge como simple patología.
