por James Zou traduccion David Ormeño
El aprendizaje automático es omnipresente en nuestra vida cotidiana. Cada vez que hablamos con nuestros smartphones, buscamos imágenes o pedimos recomendaciones de restaurantes, estamos interactuando con algoritmos de aprendizaje automático. Toman como entrada grandes cantidades de datos sin procesar, como el texto completo de una enciclopedia, o los archivos completos de un periódico, y analizan la información para extraer patrones que podrían no ser visibles para los analistas humanos. Pero cuando estos grandes conjuntos de datos incluyen sesgos sociales, las máquinas también aprenden eso.
Un algoritmo de aprendizaje automático es como un bebé recién nacido al que se le han dado millones de libros para leer sin que se le haya enseñado el alfabeto o sin conocer palabras o gramática. El poder de este tipo de procesamiento de información es impresionante, pero hay un problema. Cuando toma los datos del texto, una computadora observa las relaciones entre las palabras basadas en varios factores, incluyendo la frecuencia con la que se usan juntas.
Podemos probar qué tan bien se identifican las relaciones de palabras usando rompecabezas de analogía. Suponga que le pido al sistema que complete la analogía “Él es al Rey como Ella es a X.” Si el sistema vuelve con “Queen”, entonces diríamos que es exitoso, porque devuelve la misma respuesta que un humano.
Nuestro grupo de investigación entrenó al sistema en artículos de Google News, y luego le pidió que completara una analogía diferente: “El hombre es para el programador como la mujer para la X.” La respuesta volvió: “Ama de casa”.
Investigando el sesgo
Usamos un tipo común de algoritmo de aprendizaje para generar lo que se llama “word embeddings.” Cada palabra inglesa está incrustada, o asignada, a un punto en el espacio. Las palabras que están relacionadas semánticamente se asignan a puntos que están cerca en el espacio. Este tipo de incrustación facilita a los programas informáticos la identificación rápida y eficaz de las relaciones entre palabras.
Después de encontrar el resultado de nuestro programador de computadoras/homemaker, le pedimos al sistema que generara automáticamente un gran número de analogías de “Él es a X como Ella es a Y”, completando ambas porciones por sí mismo. Devolvió muchas analogías de sentido común, como “Él es para el Hermano como Ella es para la Hermana”. Por analogía, que tal vez recuerdes de tus días de escuela, podemos escribir esto como “él:hermano::ella:hermana.” Pero también devolvió respuestas que reflejan claros estereotipos de género, como “él:doctor::ella:enfermera” y “él:aquitecto::ella:diseñador de interiores”.
El hecho de que el sistema de aprendizaje automático haya comenzado como el equivalente de un recién nacido no es sólo la fuerza que le permite aprender patrones interesantes, sino también la debilidad que cae presa de estos flagrantes estereotipos de género. El algoritmo toma sus decisiones basándose en qué palabras aparecen cerca unas de otras con frecuencia. Si los documentos fuente reflejan un sesgo de género – si tienen más a menudo la palabra “doctor” cerca de la palabra “él” que cerca de “ella”, y la palabra “enfermera” más comúnmente cerca de “ella” que de “él” – entonces el algoritmo también aprende esos sesgos.
Empeorando las cosas
El algoritmo no sólo puede reflejar los sesgos de la sociedad – demostrando hasta qué punto esos sesgos están contenidos en los datos de entrada – sino que el sistema puede amplificar potencialmente los estereotipos de género. Supongamos que busco “programador de computadoras” y el programa de búsqueda utiliza una base de datos sesgada por género que asocia ese término más estrechamente con un hombre que con una mujer.
Los resultados de la búsqueda podrían ser erróneos debido al sesgo. Debido a que “John” como nombre masculino está más estrechamente relacionado con “programador de computadoras” que el nombre femenino “Mary” en el conjunto de datos sesgados, el programa de búsqueda podría evaluar el sitio web de John como más relevante para la búsqueda que el de Mary – incluso si los dos sitios web son idénticos excepto por los nombres y pronombres de género.
Es cierto que el conjunto de datos sesgados podría en realidad reflejar la realidad real -quizás hay más “Johns” que son programadores que “Marys”- y los algoritmos simplemente capturan estos sesgos. Esto no exime de la responsabilidad del aprendizaje automático en la lucha contra los estereotipos potencialmente nocivos. Los resultados sesgados no sólo se repetirían, sino que incluso podrían aumentar el sesgo estadístico de que la mayoría de los programadores son hombres, al reducir el número de mujeres programadoras en los resultados de búsqueda. Es útil e importante tener una alternativa que no sea parcial.
Eliminar los estereotipos
Si estos algoritmos sesgados se adoptan ampliamente, podrían perpetuar, o incluso empeorar, estos estereotipos dañinos. Afortunadamente, hemos encontrado una manera de usar el algoritmo de aprendizaje de la máquina para reducir su propio sesgo.
Nuestro sistema de desviaciones utiliza gente real para identificar ejemplos de los tipos de conexiones que son apropiadas (hermano/hermana, rey/reina) y aquellas que deben ser eliminadas. Luego, utilizando estas distinciones generadas por los seres humanos, cuantificamos el grado en que el género era un factor en la elección de esas palabras, a diferencia de, digamos, las relaciones familiares o las palabras relacionadas con la realeza.
A continuación le dijimos a nuestro algoritmo de aprendizaje por máquina que eliminara el factor de género de las conexiones en la incrustación. Esto elimina los estereotipos sesgados sin reducir la utilidad general de la incrustación.
Cuando eso se hace, encontramos que el algoritmo de aprendizaje automático ya no exhibe estereotipos de género flagrantes. Estamos investigando la aplicación de ideas relacionadas para eliminar otros tipos de prejuicios en la incrustación, como los estereotipos raciales o culturales.
por James Zou traduccion David Ormeño
El aprendizaje automático es omnipresente en nuestra vida cotidiana. Cada vez que hablamos con nuestros smartphones, buscamos imágenes o pedimos recomendaciones de restaurantes, estamos interactuando con algoritmos de aprendizaje automático. Toman como entrada grandes cantidades de datos sin procesar, como el texto completo de una enciclopedia, o los archivos completos de un periódico, y analizan la información para extraer patrones que podrían no ser visibles para los analistas humanos. Pero cuando estos grandes conjuntos de datos incluyen sesgos sociales, las máquinas también aprenden eso.
Un algoritmo de aprendizaje automático es como un bebé recién nacido al que se le han dado millones de libros para leer sin que se le haya enseñado el alfabeto o sin conocer palabras o gramática. El poder de este tipo de procesamiento de información es impresionante, pero hay un problema. Cuando toma los datos del texto, una computadora observa las relaciones entre las palabras basadas en varios factores, incluyendo la frecuencia con la que se usan juntas.
Podemos probar qué tan bien se identifican las relaciones de palabras usando rompecabezas de analogía. Suponga que le pido al sistema que complete la analogía “Él es al Rey como Ella es a X.” Si el sistema vuelve con “Queen”, entonces diríamos que es exitoso, porque devuelve la misma respuesta que un humano.
Nuestro grupo de investigación entrenó al sistema en artículos de Google News, y luego le pidió que completara una analogía diferente: “El hombre es para el programador como la mujer para la X.” La respuesta volvió: “Ama de casa”.
Investigando el sesgo
Usamos un tipo común de algoritmo de aprendizaje para generar lo que se llama “word embeddings.” Cada palabra inglesa está incrustada, o asignada, a un punto en el espacio. Las palabras que están relacionadas semánticamente se asignan a puntos que están cerca en el espacio. Este tipo de incrustación facilita a los programas informáticos la identificación rápida y eficaz de las relaciones entre palabras.
Después de encontrar el resultado de nuestro programador de computadoras/homemaker, le pedimos al sistema que generara automáticamente un gran número de analogías de “Él es a X como Ella es a Y”, completando ambas porciones por sí mismo. Devolvió muchas analogías de sentido común, como “Él es para el Hermano como Ella es para la Hermana”. Por analogía, que tal vez recuerdes de tus días de escuela, podemos escribir esto como “él:hermano::ella:hermana.” Pero también devolvió respuestas que reflejan claros estereotipos de género, como “él:doctor::ella:enfermera” y “él:aquitecto::ella:diseñador de interiores”.
El hecho de que el sistema de aprendizaje automático haya comenzado como el equivalente de un recién nacido no es sólo la fuerza que le permite aprender patrones interesantes, sino también la debilidad que cae presa de estos flagrantes estereotipos de género. El algoritmo toma sus decisiones basándose en qué palabras aparecen cerca unas de otras con frecuencia. Si los documentos fuente reflejan un sesgo de género – si tienen más a menudo la palabra “doctor” cerca de la palabra “él” que cerca de “ella”, y la palabra “enfermera” más comúnmente cerca de “ella” que de “él” – entonces el algoritmo también aprende esos sesgos.
Empeorando las cosas
El algoritmo no sólo puede reflejar los sesgos de la sociedad – demostrando hasta qué punto esos sesgos están contenidos en los datos de entrada – sino que el sistema puede amplificar potencialmente los estereotipos de género. Supongamos que busco “programador de computadoras” y el programa de búsqueda utiliza una base de datos sesgada por género que asocia ese término más estrechamente con un hombre que con una mujer.
Los resultados de la búsqueda podrían ser erróneos debido al sesgo. Debido a que “John” como nombre masculino está más estrechamente relacionado con “programador de computadoras” que el nombre femenino “Mary” en el conjunto de datos sesgados, el programa de búsqueda podría evaluar el sitio web de John como más relevante para la búsqueda que el de Mary – incluso si los dos sitios web son idénticos excepto por los nombres y pronombres de género.
Es cierto que el conjunto de datos sesgados podría en realidad reflejar la realidad real -quizás hay más “Johns” que son programadores que “Marys”- y los algoritmos simplemente capturan estos sesgos. Esto no exime de la responsabilidad del aprendizaje automático en la lucha contra los estereotipos potencialmente nocivos. Los resultados sesgados no sólo se repetirían, sino que incluso podrían aumentar el sesgo estadístico de que la mayoría de los programadores son hombres, al reducir el número de mujeres programadoras en los resultados de búsqueda. Es útil e importante tener una alternativa que no sea parcial.
Eliminar los estereotipos
Si estos algoritmos sesgados se adoptan ampliamente, podrían perpetuar, o incluso empeorar, estos estereotipos dañinos. Afortunadamente, hemos encontrado una manera de usar el algoritmo de aprendizaje de la máquina para reducir su propio sesgo.
Nuestro sistema de desviaciones utiliza gente real para identificar ejemplos de los tipos de conexiones que son apropiadas (hermano/hermana, rey/reina) y aquellas que deben ser eliminadas. Luego, utilizando estas distinciones generadas por los seres humanos, cuantificamos el grado en que el género era un factor en la elección de esas palabras, a diferencia de, digamos, las relaciones familiares o las palabras relacionadas con la realeza.
A continuación le dijimos a nuestro algoritmo de aprendizaje por máquina que eliminara el factor de género de las conexiones en la incrustación. Esto elimina los estereotipos sesgados sin reducir la utilidad general de la incrustación.
Cuando eso se hace, encontramos que el algoritmo de aprendizaje automático ya no exhibe estereotipos de género flagrantes. Estamos investigando la aplicación de ideas relacionadas para eliminar otros tipos de prejuicios en la incrustación, como los estereotipos raciales o culturales.
Compartir esto: