Ha sido dicho que los algoritmos son “opiniones incrustadas en el código”. Pocas personas entienden las implicaciones de eso mejor que Abeba Birhane. Nacida y criada en Bahir Dar, Etiopía, Birhane se mudó a Irlanda para estudiar: primero psicología, luego filosofía y luego un doctorado en ciencias cognitivas en University College Dublin.
Durante su doctorado, se encontró rodeada de desarrolladores de software y estudiantes de ciencia de datos, inmersa en los modelos que estaban construyendo y los conjuntos de datos que estaban usando. Pero comenzó a darse cuenta de que en realidad nadie estaba haciendo preguntas sobre lo que realmente contenían esos conjuntos de datos.
La inteligencia artificial se ha infiltrado en casi todos los aspectos de nuestras vidas: puede determinar si lo contratan, diagnosticarle cáncer o tomar decisiones sobre si liberar a los presos en libertad condicional. Los sistemas de IA a menudo se entrenan en conjuntos de datos gigantescos, generalmente extraídos de la web para mayor rentabilidad y facilidad. Pero esto significa que la IA puede heredar todos los sesgos de los humanos que los diseñan y cualquier presente en los datos que los alimentan. El resultado final refleja la sociedad, con toda la fealdad horneada.
No reconocer esto corre el riesgo de causar daños en el mundo real. AI ya ha sido acusada de subestimar las necesidades de salud de los pacientes negros y de hacer menos probable que las personas de color sean aprobadas para una hipoteca.
Birhane redirigió su investigación hacia la investigación de los conjuntos de datos que están dando forma cada vez más a nuestro mundo. Ella quiere exponer sus prejuicios y hacer que las corporaciones gigantes que los diseñan y se benefician de ellos rindan cuentas. Su trabajo ha obtenido reconocimiento mundial. En octubre de 2022, incluso tuvo la oportunidad de hablar sobre los daños de las grandes tecnologías en una reunión con el Dalai Lama.
A menudo, Birhane solo tiene que arañar la superficie de un conjunto de datos antes de que surjan los problemas. En 2020, Birhane y su colega Vinay Prabhu auditaron dos conjuntos de datos populares. El primero es “80 millones de imágenes diminutas”, un conjunto del MIT que se ha citado en cientos de artículos académicos y se ha utilizado durante más de una década para enseñar a los sistemas de aprendizaje automático cómo reconocer personas y objetos. Estaba lleno de etiquetas ofensivas, incluidos insultos racistas para imágenes de personas negras. En el otro conjunto de datos, ImageNet, encontraron contenido pornográfico, incluidas imágenes de mujeres debajo de la falda, que aparentemente no requerían el consentimiento explícito de las personas porque fueron extraídas de Internet. Dos días después de que la pareja publicara su estudio, el equipo del MIT se disculpó y eliminó el conjunto de datos de Tiny Images.
Estos problemas vienen de arriba. La investigación del aprendizaje automático es abrumadoramente masculina y blanca, un mundo demográfico alejado de las diversas comunidades a las que pretende ayudar. Y las grandes empresas de tecnología no solo ofrecen diversiones en línea: tienen una enorme cantidad de poder para dar forma a los eventos en el mundo real.
Birhane y otros han calificado este “colonialismo digital”, argumentando que el poder de las grandes tecnologías rivaliza con los antiguos imperios coloniales. Sus daños no nos afectarán a todos por igual, argumenta: a medida que la tecnología se exporta al sur global, lleva consigo normas y filosofías occidentales arraigadas. Se vende como una forma de ayudar a las personas en los países subdesarrollados, pero a menudo se les impone sin consultarlos, empujándolos aún más hacia los márgenes. “Nadie en Silicon Valley se queda despierto preocupándose por las mujeres negras no bancarizadas en una zona rural de Tombuctú”, dice Birhane.
Birhane cree que cambiar las actitudes del público será el motor de cambio más efectivo: las empresas de Big Tech responden más a la indignación que a los cambios de reglas burocráticas. Pero no desea vivir en una nube permanente de bilis: como mujer negra que realiza un trabajo crítico, se ha enfrentado a rechazos desde el primer día. “No sé si puedo vivir mi vida peleando”, dice. Birhane, que ahora combina la docencia con una beca de alto nivel en la Fundación Mozilla, preferiría dejar que su investigación haga el trabajo. “Soy una gran defensora de ‘mostrar los datos’”, dice.
Pero Birhane no cree que eso sea suficiente, no es optimista de que Big Tech se autocorrija. Por cada conjunto de datos problemático que se revela y corrige, hay otro esperando. A veces, nada cambia: en 2021, Birhane y sus colegas publicaron un artículo sobre un conjunto de datos de más de 400 millones de imágenes, llamado conjunto de datos LAION-400M, que devolvía pornografía explícita cuando se le solicitaba incluso palabras ligeramente femeninas como “mamá” o “tía.” El documento provocó indignación, pero el conjunto de datos aún existe y se ha incrementado a más de 5 mil millones de imágenes. Recientemente ganó un premio.
Hay una razón por la que nada ha cambiado. Si bien la creación de conjuntos de datos para la IA es bastante simple, simplemente navegue por Internet, auditarlos lleva mucho tiempo y es costoso. “Hacer el trabajo sucio es mucho más difícil”, dice Birhane. No hay ningún incentivo para crear un conjunto de datos limpio, solo rentable. Pero esto significa que todo ese trabajo sucio recae sobre los hombros de investigadores como Birhane, para quienes analizar estos conjuntos de datos, tener que pasar horas mirando imágenes racistas o escenas de violaciones, tiene un precio. “Es realmente deprimente”, dice ella. “Ver estas cosas realmente puede ser traumatizante”.
En un mundo ideal, el cambio sería impulsado por los vastos recursos de las empresas tecnológicas, no por investigadores independientes. Pero no es probable que las corporaciones cambien su forma de actuar sin una presión considerable. “Quiero, en un mundo ideal, un sistema civilizado en el que las corporaciones asuman la responsabilidad y se aseguren de que los sistemas que están implementando sean precisos, justos y justos para todos”, dice Birhane. “Pero eso se siente como si estuviera pidiendo demasiado”.
Ha sido dicho que los algoritmos son “opiniones incrustadas en el código”. Pocas personas entienden las implicaciones de eso mejor que Abeba Birhane. Nacida y criada en Bahir Dar, Etiopía, Birhane se mudó a Irlanda para estudiar: primero psicología, luego filosofía y luego un doctorado en ciencias cognitivas en University College Dublin.
Durante su doctorado, se encontró rodeada de desarrolladores de software y estudiantes de ciencia de datos, inmersa en los modelos que estaban construyendo y los conjuntos de datos que estaban usando. Pero comenzó a darse cuenta de que en realidad nadie estaba haciendo preguntas sobre lo que realmente contenían esos conjuntos de datos.
La inteligencia artificial se ha infiltrado en casi todos los aspectos de nuestras vidas: puede determinar si lo contratan, diagnosticarle cáncer o tomar decisiones sobre si liberar a los presos en libertad condicional. Los sistemas de IA a menudo se entrenan en conjuntos de datos gigantescos, generalmente extraídos de la web para mayor rentabilidad y facilidad. Pero esto significa que la IA puede heredar todos los sesgos de los humanos que los diseñan y cualquier presente en los datos que los alimentan. El resultado final refleja la sociedad, con toda la fealdad horneada.
No reconocer esto corre el riesgo de causar daños en el mundo real. AI ya ha sido acusada de subestimar las necesidades de salud de los pacientes negros y de hacer menos probable que las personas de color sean aprobadas para una hipoteca.
Birhane redirigió su investigación hacia la investigación de los conjuntos de datos que están dando forma cada vez más a nuestro mundo. Ella quiere exponer sus prejuicios y hacer que las corporaciones gigantes que los diseñan y se benefician de ellos rindan cuentas. Su trabajo ha obtenido reconocimiento mundial. En octubre de 2022, incluso tuvo la oportunidad de hablar sobre los daños de las grandes tecnologías en una reunión con el Dalai Lama.
A menudo, Birhane solo tiene que arañar la superficie de un conjunto de datos antes de que surjan los problemas. En 2020, Birhane y su colega Vinay Prabhu auditaron dos conjuntos de datos populares. El primero es “80 millones de imágenes diminutas”, un conjunto del MIT que se ha citado en cientos de artículos académicos y se ha utilizado durante más de una década para enseñar a los sistemas de aprendizaje automático cómo reconocer personas y objetos. Estaba lleno de etiquetas ofensivas, incluidos insultos racistas para imágenes de personas negras. En el otro conjunto de datos, ImageNet, encontraron contenido pornográfico, incluidas imágenes de mujeres debajo de la falda, que aparentemente no requerían el consentimiento explícito de las personas porque fueron extraídas de Internet. Dos días después de que la pareja publicara su estudio, el equipo del MIT se disculpó y eliminó el conjunto de datos de Tiny Images.
Estos problemas vienen de arriba. La investigación del aprendizaje automático es abrumadoramente masculina y blanca, un mundo demográfico alejado de las diversas comunidades a las que pretende ayudar. Y las grandes empresas de tecnología no solo ofrecen diversiones en línea: tienen una enorme cantidad de poder para dar forma a los eventos en el mundo real.
Birhane y otros han calificado este “colonialismo digital”, argumentando que el poder de las grandes tecnologías rivaliza con los antiguos imperios coloniales. Sus daños no nos afectarán a todos por igual, argumenta: a medida que la tecnología se exporta al sur global, lleva consigo normas y filosofías occidentales arraigadas. Se vende como una forma de ayudar a las personas en los países subdesarrollados, pero a menudo se les impone sin consultarlos, empujándolos aún más hacia los márgenes. “Nadie en Silicon Valley se queda despierto preocupándose por las mujeres negras no bancarizadas en una zona rural de Tombuctú”, dice Birhane.
Birhane cree que cambiar las actitudes del público será el motor de cambio más efectivo: las empresas de Big Tech responden más a la indignación que a los cambios de reglas burocráticas. Pero no desea vivir en una nube permanente de bilis: como mujer negra que realiza un trabajo crítico, se ha enfrentado a rechazos desde el primer día. “No sé si puedo vivir mi vida peleando”, dice. Birhane, que ahora combina la docencia con una beca de alto nivel en la Fundación Mozilla, preferiría dejar que su investigación haga el trabajo. “Soy una gran defensora de ‘mostrar los datos’”, dice.
Pero Birhane no cree que eso sea suficiente, no es optimista de que Big Tech se autocorrija. Por cada conjunto de datos problemático que se revela y corrige, hay otro esperando. A veces, nada cambia: en 2021, Birhane y sus colegas publicaron un artículo sobre un conjunto de datos de más de 400 millones de imágenes, llamado conjunto de datos LAION-400M, que devolvía pornografía explícita cuando se le solicitaba incluso palabras ligeramente femeninas como “mamá” o “tía.” El documento provocó indignación, pero el conjunto de datos aún existe y se ha incrementado a más de 5 mil millones de imágenes. Recientemente ganó un premio.
Hay una razón por la que nada ha cambiado. Si bien la creación de conjuntos de datos para la IA es bastante simple, simplemente navegue por Internet, auditarlos lleva mucho tiempo y es costoso. “Hacer el trabajo sucio es mucho más difícil”, dice Birhane. No hay ningún incentivo para crear un conjunto de datos limpio, solo rentable. Pero esto significa que todo ese trabajo sucio recae sobre los hombros de investigadores como Birhane, para quienes analizar estos conjuntos de datos, tener que pasar horas mirando imágenes racistas o escenas de violaciones, tiene un precio. “Es realmente deprimente”, dice ella. “Ver estas cosas realmente puede ser traumatizante”.
En un mundo ideal, el cambio sería impulsado por los vastos recursos de las empresas tecnológicas, no por investigadores independientes. Pero no es probable que las corporaciones cambien su forma de actuar sin una presión considerable. “Quiero, en un mundo ideal, un sistema civilizado en el que las corporaciones asuman la responsabilidad y se aseguren de que los sistemas que están implementando sean precisos, justos y justos para todos”, dice Birhane. “Pero eso se siente como si estuviera pidiendo demasiado”.
Original
Compartir esto: