Inexplicable

3 de septiembre de 2021

«Lo más interesante, lo más complejo, es lo que hoy en día se llama explicabilidad: cuando un experto tiene que tomar una decisión en base a su experiencia lo puede explicar, pero cuando un algoritmo toma una decisión en base a su aprendizaje automático, en muchos casos no lo puede explicar y entonces no se entiende fácilmente por qué se tomó una decisión», explica Esteban Feuerstein, profesor asociado del Departamento de Computación de la Facultad de Ciencias Exactas y Naturales de la UBA y miembro del equipo de Ciencia de Datos de la AFIP. «Ahí entra a jugar un concepto que ahora está bastante de moda que es “explainability” en inglés o “explicabilidad” en castellano y que refiere a programar algoritmos que a priori nos permitan explicar, justificar la decisión. Entonces si un algoritmo le va a decir a un experto “Este edificio hay que arreglarlo porque tiene un altísimo riesgo de caerse”, es necesario que incluya parámetros e indique si son demasiado bajos o altos, o “cosas semejantes sucedieron en edificios que tuvieron problemas”, etcétera. En general hoy en día se pretende que haya alguna explicación, alguna justificación o dato de por qué la recomendación es tal o cual».
–¿Desde el Estado se pueden usar los datos para la gestión?
–Sí, hay un montón de cosas que se pueden hacer. Algunas se están haciendo vinculadas con la pandemia como, por ejemplo, una revisión de la movilidad o de cómo se comporta la población a partir de patrones de movilidad o económicos. Todos los datos pueden potencialmente ser usados para bien.
–¿Las decisiones de los algoritmos tienen que estar supervisadas por humanos?
–La respuesta es que sí, porque es peligroso dejarlos decidiendo solos, se puede caer en problemas como el sesgo algorítmico y variantes de eso. La inteligencia artificial, cuando la dejás completamente sola, puede no ser muy inteligente y no darse cuenta de que está cayendo en problemas o en errores.
–¿Es posible comprender cómo toman las decisiones los algoritmos o ya resulta ilusorio?
–Ahora está de moda el problema de los sesgos y de la explicabilidad. Se puede auditar un algoritmo para saber cómo toma decisiones, porque uno puede revisar el código y entender por qué clasificó a una persona o a un renglón de un dato o lo que fuera, dentro de una categoría. Así que a auditar es posible. Lo más complejo, es lo que hoy en día se llama «explicabilidad».