El Mercurio Legal
Antes de abrazar el frenesí tecnológico que los mecanismos de aprendizaje automático (machine learning) están causando en diferentes áreas de la economía, resulta importante detenerse a editar sobre los riesgos del sesgo (bias) y cómo este puede afectar a tales mecanismos, así como lo que eso implica para la sociedad en su conjunto.
Básicamente, el sesgo inherente a ciertos mecanismos de Inteligencia Artificial amenaza con convertirse en uno de los mayores conflictos de discriminación y derechos humanos del siglo XXI(1). Hoy estamos rodeados de algoritmos que actúan como agentes tomando decisiones por nosotros y muchas de estas, si fuesen tomadas por seres humanos, no dudaríamos en calificarlas como abiertamente discriminatorias. Descarte de currículos de mujeres por el simple hecho de serlo, sentencias más largas para personas de tez oscura y otras situaciones similares se han dado, incluso, cuando lo que se buscaba al automatizar estas funciones era justamente retirar los sesgos que afectan a los seres humanos y que provocan resultados discriminatorios.
Pero, ¿no se supone que las máquinas son objetivas y se basan en las matemáticas? Pues sí, pero el problema es que las matemáticas se basan en los datos y estos han sido recolectados por personas que han elegido anotar ciertos factores y no otros. En pocas palabras, no existen datos objetivos porque no existen recolectores objetivos. Los mecanismos de aprendizaje automático, como las redes neuronales profundas (deep neural networks), se entrenan en bases datos y su finalidad es realizar predicciones respecto del mundo. Así, las redes neuronales realizan correlaciones entre los datos entregados para realizar inferencias sobre las materias consultadas, las cuales dependen esencialmente de la calidad y objetividad de los materiales sobre los que realizan su entrenamiento. Lo más inquietante de estas predicciones es que las redes neuronales son difícilmente explicables, de manera que es prácticamente imposible determinar a priori qué criterios son los que influyen en sus decisiones. Así, un algoritmo entrenado para tomar decisiones neutrales puede bien terminar realizando predicciones sesgadas sin que los mismos diseñadores del agente lo sepan hasta ponerlo en práctica.
Un caso famoso fue el de Amazon y su agente de selección de personal. En 2014, la empresa tecnológica quiso automatizar su selección de currículos a fin de confeccionar una lista corta de candidatos a un puesto determinado. Para ello construyó un algoritmo que se basaba en la información de los empleados que la firma ya tenía, su tasa de retención y ascensos. Puesto que la mayor parte de los empleados de Amazon eran hombres, el algoritmo procedió a eliminar de la lista de candidatos a las mujeres, construyendo listas cortas exclusivamente masculinas. Lo más inquietante es que en los currículos no se incluía la mención del sexo del solicitante, pero, aparentemente, el agente lo infirió de otros datos incluidos en el currículo. Como el algoritmo no pudo ser corregido para lograr la objetividad inicialmente deseada, la compañía debió retirarlo.
En pocas palabras, los sesgos en los datos se traducen en discriminaciones en las decisiones que estos algoritmos toman. En una sociedad históricamente marcada por la desigualdad, como lo es la chilena, las correlaciones que conducen a discriminaciones pueden fácilmente multiplicarse. Así, en un ejemplo hipotético, en Santiago existe una alta segregación espacial, por lo que la gente con menor poder adquisitivo tiende a vivir en barrios distintos a aquella de alto poder adquisitivo. Puesto que el menor poder adquisitivo se relaciona con una mayor riesgo de insolvencia, si un algoritmo fuese entrenado para predecir este riesgo (y, por tanto, asignar una tasa de interés más alta o más baja) a un conjunto de personas y fuese entrenado simplemente con una base de datos histórica, podría perfectamente correlacionar el lugar de domicilio con el riesgo de insolvencia, aumentando las tasas de interés para quienes viven en unos barrios y disminuyéndola para quienes viven en otros, sin tomar en consideración ningún factor personal.
En el caso de COMPAS, un algoritmo destinado a evaluar el riesgo social de los procesados y condenados utilizado por la 25/6/2020 Discriminación e Inteligencia Artificial https://www.elmercurio.com/Legal/Noticias/Opinion/2020/06/24/Discriminacion-e-Inteligencia-Artificial.aspx# 2/2 justicia en 23 Estados de Estados Unidos, el resultado fue recomendaciones de penas mayores y de negar las libertades provisionales para las personas negras, mientras que a las personas blancas se recomendaba exactamente lo contrario por los mismos delitos.
En pocas palabras, este tipo de algoritmos puede, en caso de ser aplicado masivamente, fácilmente re-etnificar la pobreza en un país como el nuestro, donde la discriminación históricamente ha sido vasta y las bases de datos se encuentran pobladas de sesgos.
1 Safiya Umoja Noble, Algorithms of Opperssion. How Search Engines Reinforce Racism (New Yor University Press-Kindle, 2018, New York), p.1.
