Contenido
- El sesgo de belleza AI
- El sesgo de género en los idiomas
- 2. Discriminación de género y edad en el trabajo.
- Fallo de reconocimiento facial
- Sesgo de reincidencia
Para llevar:
En los últimos años, la IA se ha adoptado y aplicado cada vez más a todo, desde evaluar la belleza hasta evaluar el riesgo de reincidencia. Al hacerlo, también ha mantenido estándares que apoyan el sesgo y la discriminación en varios casos.
El avance de la tecnología tiene el potencial de democratizar verdaderamente el acceso a la información y las oportunidades. Sin embargo, cuando en algunos casos, se está utilizando de manera que refuerza la noción de que en nuestra sociedad algunas personas son más iguales que otras.
Esto es lo que hemos visto en las siguientes siete instancias en las que la inteligencia artificial (IA) se usa deliberadamente para excluir ciertas categorías o en la que simplemente refleja el sesgo incrustado por sus programadores humanos con un efecto discriminatorio.
El sesgo de belleza AI
La belleza puede estar en el ojo del espectador, pero cuando esa visión subjetiva puede programar la IA, tienes un sesgo en el programa. Rachel Thomas informó sobre uno de esos episodios en una competencia de belleza de beauty.ai en 2016. Los resultados mostraron que las tez más claras se clasificaron como más atractivas que las oscuras.
El año siguiente, "FaceApp, que utiliza redes neuronales para crear filtros para fotografías, creó un" filtro de calor "que iluminó la piel de las personas y les dio más características europeas".
El sesgo de género en los idiomas
Thomas también cita un ejemplo documentado de traducciones que trascienden las expectativas estereotipadas de las carreras. El punto de partida son dos frases: "Ella es doctora. Él es enfermera".
Si luego los traduce al turco y de nuevo al inglés, obtendrá el tipo de resultados que podría esperar de un juego telefónico.
En lugar de obtener lo que comenzaste, tendrías la expectativa de los años 50: "Él es médico. Ella es enfermera". Ella explica que se debe al pronombre singular de género neutro en el idioma turco que asignará el género en función de las expectativas y el sesgo estereotípico. (Lea Mujeres en IA: reforzando el sexismo y los estereotipos con tecnología).
Si bien los prejuicios raciales y de género que se filtran en las imágenes y el lenguaje son motivo de irritación, no son exactamente lo mismo que la discriminación activa resultante de la IA, pero eso también ha sucedido.
Su prueba fue una captura de pantalla de las limitaciones establecidas para un anuncio en su categoría de alojamiento que permitía la opción de reducir la audiencia al marcar las exclusiones de categorías como afroamericanos, asiáticoamericanos o hispanos. El anuncio se puede ver aquí.
Como señala ProPublica, el efecto discriminatorio de tales anuncios es ilegal tanto en virtud de la Ley de Equidad de Vivienda de 1968 como de la Ley de Derechos Civiles de 1964. La única defensa en este caso fue que el anuncio no era para la vivienda en sí, como no lo era. t acerca de una propiedad u hogar en venta o alquiler.
Sin embargo, ha habido otros casos de ataques que indican prejuicios raciales y que han motivado a varias entidades a presentar demandas civiles contra la red social. Como informó Wired, finalmente resolvió ajustar su tecnología de orientación de anuncios como resultado de un acuerdo de cinco casos legales que lo acusaron de permitir la discriminación contra las minorías a través de anuncios en marzo de 2019.
En su informe sobre el acuerdo, la ACLU señaló cuán insidiosas podrían ser tales anuncios dirigidos, ya que las minorías y las mujeres pueden ni siquiera darse cuenta de que no tienen el mismo acceso a la información, la vivienda y las oportunidades de trabajo que se comparten con los hombres blancos.
A medida que más personas recurren a Internet para buscar trabajo, apartamentos y préstamos, existe un riesgo real de que la orientación de anuncios se reproduzca e incluso exacerbe los prejuicios raciales y de género existentes en la sociedad. Imagínese si un empleador elige mostrar anuncios de trabajos de ingeniería solo a hombres, no solo los usuarios que no se identifican como hombres nunca verán esos anuncios, sino que tampoco sabrán lo que se perdieron.
Después de todo, rara vez tenemos una manera de identificar los anuncios que no vemos en línea. Que esta discriminación sea invisible para el usuario excluido hace que sea aún más difícil de detener.
2. Discriminación de género y edad en el trabajo.
Entre los casos legales se encontraba la discriminación ilegal en la vivienda que permite la focalización. En su informe sobre el acuerdo, ProPublica dijo que probó la plataforma y logró comprar “anuncios relacionados con la vivienda en grupos excluidos como afroamericanos y judíos, y que anteriormente encontró anuncios de trabajo que excluían a los usuarios por edad y sexo colocados por las compañías que son nombres familiares ".
Una serie de anuncios de trabajo que encontró la ACLU que estaban dirigidos explícitamente solo a hombres en un grupo de edad en particular, como los usuarios podían encontrar al hacer clic en la respuesta de por qué se les mostró ese anuncio en particular, aparecieron en otro artículo de Wired. La ACLU presentó un cargo ante la Comisión de Igualdad de Oportunidades en el Empleo contra la red social y las empresas que colocaron los anuncios alegando que estaban violando las leyes laborales y de derechos civiles.
La discriminación contra la contratación de personas mayores de 40 años viola la Ley Federal de Discriminación por Edad en el Empleo (ADEA). Pero dirigir anuncios de trabajo solo a personas menores de esa edad es una de las cosas habilitadas por la plataforma.
ProPublica hizo que el foco de uno de sus informes exponga qué anuncios de empleo capitalizaron esta forma ilegal de exclusión por edad. Los "nombres conocidos" incluyen Verizon, UPS, Uber, Target, Statefarm, Northwestern Mutual, Microsoft, J Street, HusbSpot, IKEA, Fund For The Public Interest, Goldman Sach, OpenWorks y a sí mismo, entre otros.
Fallo de reconocimiento facial
"El reconocimiento facial es preciso, si eres un tipo blanco", declaró el titular de un artículo del New York Times publicado en febrero de 2018. Citó resultados que encontraron una correlación clara entre el tono de la piel y la identificación defectuosa:
"Cuanto más oscura es la piel, más errores surgen: hasta casi un 35% para imágenes de mujeres de piel más oscura, según un nuevo estudio que abre nuevos caminos al medir cómo funciona la tecnología en personas de diferentes razas y géneros".
Los hallazgos se acreditan a Joy Buolamwini, investigadora del MIT Media Lab y fundadora de la Algorithmic Justice League (AJL). Su área de investigación son los prejuicios que subyacen a la IA, lo que resulta en resultados tan sesgados cuando se trata de reconocer rostros que no se ajustan a la norma masculina blanca establecida para el modelo.
Buolamwini presentó el problema de sesgo racial y de género para el reconocimiento facial en una charla TED 2017, a la que se refirió a principios de 2018 en el video sobre el Proyecto de sombras de género del Laboratorio MIT:
<
Lo que se detalla en la descripción del video es que si se deja sin control el sesgo de IA, "se paralizará la era de la automatización y se exacerbará aún más la desigualdad si se deja de agravar". El riesgo es nada menos que "perder los logros obtenidos con el movimiento de derechos civiles y el movimiento de mujeres bajo la falsa suposición de neutralidad de la máquina".
La descripción del video agrega la advertencia que muchos otros ahora han señalado, como hemos visto en Mujeres en IA: reforzando el sexismo y los estereotipos con tecnología: "Los sistemas automatizados no son inherentemente neutrales. Reflejan las prioridades, preferencias y prejuicios: los códigos mirada de aquellos que tienen el poder de moldear la inteligencia artificial ".
El 25 de enero de 2019, Buolamnwini publicó una publicación de Medium que se basó en su propia investigación y la de investigadores adicionales que señalan cómo los defectos de la IA provocan errores en Rekognition de Amazon y exigieron que la compañía deje de vender el servicio de IA a los departamentos de policía.
Si bien Rekognition podría presumir de una precisión del 100% para reconocer a los hombres de piel clara y una precisión del 98.7% incluso para los hombres más oscuros, cuando se trata de mujeres, la precisión se redujo al 92.9% para las mujeres más claras. Aún más evidente fue la fuerte caída a solo el 68.6% de precisión para las mujeres más oscuras.
Pero Amazon se negó a ceder. Un artículo de Venture Beat citó una declaración del Dr. Matt Wood, gerente general de aprendizaje profundo e inteligencia artificial de AWS, en la que insistió en que los hallazgos de los investigadores no reflejaban cómo se usa realmente la inteligencia artificial, explicando:
“El análisis facial y el reconocimiento facial son completamente diferentes en términos de la tecnología subyacente y los datos utilizados para entrenarlos. Intentar utilizar el análisis facial para medir la precisión del reconocimiento facial es desaconsejado, ya que no es el algoritmo previsto para ese propósito ".
Pero no solo los afiliados a los principales centros de investigación han encontrado que los algoritmos son muy problemáticos. La ACLU realizó su propia prueba a un costo más razonable de $ 12.33, según el informe de Gizmodo. Descubrió que Rekognition emparejó a 28 miembros del Congreso con fotos de delincuentes.
"Las falsas identificaciones se hicieron cuando la ACLU del norte de California encargó a Rekognition que hiciera coincidir las fotos de los 535 miembros del Congreso con 25,000 fotos de fotografías públicas disponibles".
Como 11 de los 28 eran personas de color, reflejaba una tasa de error significativa del 39% para ellos. En contraste, la tasa de error en su conjunto fue un 5% más aceptable. Seis miembros del Caucus Negro del Congreso, que se encontraban entre los Rekognition vinculados a las fotos policiales, expresaron su preocupación en una carta abierta al CEO de Amazon.
Sesgo de reincidencia
El sesgo incrustado en la IA contra las personas de color se convierte en un problema más serio cuando significa más que un simple error de identificación. Ese fue el hallazgo de otra investigación de ProPublica en 2016. Las consecuencias de tal sesgo son nada menos que la libertad individual junto con ignorar el riesgo real de la persona cuyo color de piel es favorecido por el algoritmo.
El artículo se refería a dos casos paralelos relacionados con un perpetrador blanco y uno negro. Se usó un algoritmo para predecir cuál era probable que volviera a infringir la ley. El negro fue calificado de alto riesgo, y el blanco de bajo riesgo.
La predicción se equivocó completamente, y el blanco que salió libre tuvo que ser encarcelado nuevamente. Esto es extremadamente problemático porque los tribunales confían en la puntuación para decidir sobre la libertad condicional, y eso significa que el sesgo racial incluido en el programa significa un trato desigual según la ley.
ProPublica puso el algoritmo a prueba, comparando los puntajes de riesgo de más de 7,000 personas que fueron arrestadas en el condado de Broward, Florida, en 2013 y 2014 con el número de nuevos cargos penales presentados en su contra en los siguientes dos años.
Lo que encontraron fue que solo el 20% de las predicciones para la repetición de delitos de naturaleza violenta se hicieron realidad, y más delitos menores solo ocurrieron en el 61% de aquellos con puntajes que indicaban riesgo.
El verdadero problema no es solo la falta de precisión, sino el sesgo racial involucrado:
- La fórmula era particularmente probable que señalara falsamente a los acusados negros como futuros delincuentes, etiquetándolos erróneamente de esta manera a casi el doble de tasa que los acusados blancos.
- Los acusados blancos fueron mal etiquetados como de bajo riesgo con mayor frecuencia que los acusados negros.
En efecto, esto se tradujo en una tasa de error del 45% para las personas negras y del 24% para las personas blancas. A pesar de esa estadística deslumbrante, Thomas informó que la Corte Suprema de Wisconsin todavía confirmó el uso de este algoritmo. También detalla otros problemas asociados con los algoritmos de reincidencia.