La gran mayoría de
las aplicaciones de inteligencia artificial (IA) se basan en una
categoría de algoritmos conocida como aprendizaje profundo, cuyos
algoritmos están especializados en encontrar patrones en los datos. A
pesar de la enorme utilidad de este enfoque en algunos de sus usos,
otros pueden tener un gran impacto negativo en la vida de la gente: pueden perpetuar la injusticia en la contratación, las ventas y la seguridad, y también el sistema de justicia penal.
Pero ser conscientes de que estos sesgos existen no es suficiente. Si queremos ser capaces de corregirlos, debemos comprender cómo surgen.
Cómo se producen los sesgos algorítmicos
A menudo nos limitamos a responsabilizar a los datos de entrenamiento
como únicos culpables del sesgo algorítmico. Pero la realidad tiene
matices: el sesgo puede aparecer mucho antes de que los datos se recopilen y también en muchas otras etapas del proceso de aprendizaje profundo. Para analizar el fenómeno lo mejor posible, nos centraremos en tres etapas clave.
Definición del problema. Lo primero que hacen los informáticos cuando crean un modelo de aprendizaje profundo es decidir cuál es su objetivo. Una
compañía de tarjetas de crédito, por ejemplo, podría querer predecir la
solvencia de sus clientes, pero “solvencia” es un concepto bastante
difuso. Para traducirlo en algo que se pueda calcular, la empresa debe
decidir si quiere, por ejemplo, maximizar sus márgenes de beneficio o la
cantidad de préstamos reembolsados. Entonces definiría la solvencia en
el contexto del objetivo. El problema es que “esas decisiones se toman
por diversas razones comerciales que no son ni la imparcialidad ni la
discriminación”, explica el profesor asistente en la Universidad de
Cornell (EE. UU.) Solon Barocas, especializado en la equidad en el
aprendizaje automático. Si el algoritmo descubriera que dar préstamos de
alto riesgo es una forma efectiva de maximizar las ganancias,
terminaría comportándose depredador, incluso aunque esa no fuera la
intención de la compañía.
Recogida de los datos. Los datos producen sesgos principalmente por dos vías: o los datos recopilados no son representativos de la realidad o reflejan prejuicios ya existentes. El
primer caso podría ocurrir, por ejemplo, si un algoritmo de aprendizaje
profundo recibe más fotos de las caras de piel clara que las de piel
oscura. El sistema de reconocimiento facial, como consecuencia de eso,
sería inevitablemente peor en
el reconocimiento de las caras de piel más oscura. El segundo caso es
precisamente lo que sucedió cuando Amazon descubrió que su herramienta
de reclutamiento interno estaba descartando las candidatas mujeres.
Dado que el algoritmo se entrenó a partir de decisiones históricas de
contratación que favorecían a los hombres sobre las mujeres, el software
aprendió a hacer lo mismo.
Preparación de los datos. Finalmente, es posible
introducir sesgos durante la etapa de preparación de datos a la hora de
seleccionar los atributos que deseamos que el algoritmo tenga en
cuenta. (No debe confundirse con la etapa de la definición del problema.
Es posible usar los mismos atributos para entrenar un modelo para
objetivos muy diferentes o usar atributos muy distintos para entrenar un
modelo para el mismo objetivo). En el caso de modelar la solvencia
crediticia, un “atributo” podría ser la edad del cliente, los ingresos o
la cantidad de préstamos pagados. En el caso de la herramienta de
reclutamiento de Amazon, un “atributo” podría ser el género, el nivel de
educación o los años de experiencia de los candidatos. Esto es lo que
la gente suele denominar como el “arte” del aprendizaje profundo: elegir qué atributos considerar o ignorar puede influir significativamente en la precisión
de la predicción de un modelo. Pero, aunque resulta fácil medir su
impacto en la precisión, medir sus sesgos es un proceso bastante
complicado.
¿Por qué cuesta tanto corregirlos?
Visto el contexto, es fácil percibir algunos de los desafíos a la
hora mitigar el sesgo algorítmico. Aquí destacamos los cuatro
principales.
Desconocer lo que se desconoce. La introducción del
sesgo no siempre resulta obvia durante la construcción del modelo
porque es posible que uno no se dé cuenta hasta mucho más tarde de los
impactos posteriores de los datos y las decisiones. Una vez introducido,
es difícil identificar de forma retroactiva de dónde ha venido el sesgo
y averiguar cómo deshacerse de él. En el caso de Amazon, cuando los
informáticos descubrieron que su herramienta estaba descartando a las
mujeres candidatas, lo reprogramaron para que ignorara las palabras con
género explícito como “mujeres”. Pronto descubrieron que la revisión
seguía recogiendo palabras con género implícito, como verbos altamente
correlacionados con hombres y no con mujeres, como “ejecutado” y
“capturado”, y que esos verbos todavía influían en la toma de decisiones
del sistema.
Procesos mal diseñados. Primero, muchas de las
prácticas comunes en el aprendizaje profundo no están diseñadas para
tener en cuenta la detección de sesgos. El rendimiento de los modelos de
aprendizaje profundo se prueba antes de su implementación, lo que
parece una oportunidad perfecta para identificar sesgos. Pero en la
práctica, las pruebas funcionan así: los informáticos dividen sus datos
al azar y utilizan uno de los grupos para entrenar al algoritmo. El otro
se reserva para validar su eficacia posteriormente. Eso significa que
los datos de control para probar el rendimiento del modelo tienen los
mismos sesgos que los datos de entrenamiento. Por lo tanto, es imposible
detectar que los resultados están sesgados.
Falta de contexto social. Del mismo modo, la forma
en la que se enseña a los informáticos a abordar los problemas a menudo
no encaja con la mejor forma de pensar en dichos problemas. Por ejemplo,
en un artículo
del postdoctorado del Instituto de Investigación de Data & Society
Andrew Selbst, el investigador identifica lo que ha bautizado como la
“trampa de la portabilidad”. En informática, diseñar un sistema que se
pueda usar para diferentes tareas en distintos contextos se considera
una buena práctica. Pero Selbst lamenta: “Ese enfoque ignora gran parte
del contexto social. Un sistema diseñado para EE. UU. no puede aplicarse
directamente a Canadá porque son comunidades distintas con iferentes
versiones de la imparcialidad. Tampoco es posible tener un sistema para
obtener resultados penales ‘justos’ y aplicarlo al empleo. La forma en
la que pensamos sobre la equidad en esos contextos es totalmente
diferente”.
Distintas definiciones de equidad. Tampoco está
claro qué aspecto debería tener la ausencia de sesgo algorítmico. Esto
no ocurre solo en informática, es una cuestión que tiene una larga
historia de debates en filosofía, ciencias sociales y derecho. La
diferencia es que en informática el concepto de equidad debe definirse
en términos matemáticos, como equilibrar las tasas de falso positivo y
falso negativo en un sistema de predicción. Pero los investigadores han
descubierto que hay muchas definiciones matemáticas diferentes de
equidad que también se excluyen mutuamente. ¿La equidad significa, por
ejemplo, que la misma proporción de individuos blancos y negros debería recibir los mismos puntos de evaluación de alto riesgo? ¿O que el mismo nivel de riesgo debería
resultar en la misma puntuación independientemente de la raza? Es
imposible cumplir ambas definiciones al mismo tiempo (aquí hay un
análisis más detallado de por qué), por lo que en algún momento habrá
que elegir una de ellas. Pero mientras que en otros campos se entiende
que esta decisión es algo que puede cambiar con el tiempo, en el campo
de la informática estas definiciones suelen ser fijas. “Al determinar la
respuesta, la resolución del problema tiene un aspecto muy diferente al
que tiene la sociedad sobre la misma cuestión”, explica Selbst.
Qué podemos hacer ahora
Si esta vertiginosa explicación del enorme alcance del problema de
sesgo en IA le está dando mareos, a mí también. Pero, afortunadamente,
un gran grupo de investigadores de IA está trabajando arduamente para
abordar este problema. Y para ello han adoptado una gran variedad de
enfoques: algoritmos que ayudan a detectar y mitigar los sesgos ocultos dentro de los datos de entrenamiento o que reducen los sesgos aprendidos por el modelo independientemente de la calidad de los datos; procesos que hacen que las empresas sean responsables de contar con los resultados más justos y análisis que eliminan las diferentes definiciones de la imparcialidad.
“Corregir la discriminación en los sistemas algorítmicos no es algo que se pueda resolver fácilmente. Es un proceso continuo, al igual que la discriminación en cualquier otro aspecto de la sociedad”, concluye Selbst.
Fuente
La gran mayoría de las aplicaciones de inteligencia artificial (IA) se basan en una categoría de algoritmos conocida como aprendizaje profundo, cuyos algoritmos están especializados en encontrar patrones en los datos. A pesar de la enorme utilidad de este enfoque en algunos de sus usos, otros pueden tener un gran impacto negativo en la vida de la gente: pueden perpetuar la injusticia en la contratación, las ventas y la seguridad, y también el sistema de justicia penal.
Pero ser conscientes de que estos sesgos existen no es suficiente. Si queremos ser capaces de corregirlos, debemos comprender cómo surgen.
Cómo se producen los sesgos algorítmicos
A menudo nos limitamos a responsabilizar a los datos de entrenamiento como únicos culpables del sesgo algorítmico. Pero la realidad tiene matices: el sesgo puede aparecer mucho antes de que los datos se recopilen y también en muchas otras etapas del proceso de aprendizaje profundo. Para analizar el fenómeno lo mejor posible, nos centraremos en tres etapas clave.
Definición del problema. Lo primero que hacen los informáticos cuando crean un modelo de aprendizaje profundo es decidir cuál es su objetivo. Una compañía de tarjetas de crédito, por ejemplo, podría querer predecir la solvencia de sus clientes, pero “solvencia” es un concepto bastante difuso. Para traducirlo en algo que se pueda calcular, la empresa debe decidir si quiere, por ejemplo, maximizar sus márgenes de beneficio o la cantidad de préstamos reembolsados. Entonces definiría la solvencia en el contexto del objetivo. El problema es que “esas decisiones se toman por diversas razones comerciales que no son ni la imparcialidad ni la discriminación”, explica el profesor asistente en la Universidad de Cornell (EE. UU.) Solon Barocas, especializado en la equidad en el aprendizaje automático. Si el algoritmo descubriera que dar préstamos de alto riesgo es una forma efectiva de maximizar las ganancias, terminaría comportándose depredador, incluso aunque esa no fuera la intención de la compañía.
Recogida de los datos. Los datos producen sesgos principalmente por dos vías: o los datos recopilados no son representativos de la realidad o reflejan prejuicios ya existentes. El primer caso podría ocurrir, por ejemplo, si un algoritmo de aprendizaje profundo recibe más fotos de las caras de piel clara que las de piel oscura. El sistema de reconocimiento facial, como consecuencia de eso, sería inevitablemente peor en el reconocimiento de las caras de piel más oscura. El segundo caso es precisamente lo que sucedió cuando Amazon descubrió que su herramienta de reclutamiento interno estaba descartando las candidatas mujeres. Dado que el algoritmo se entrenó a partir de decisiones históricas de contratación que favorecían a los hombres sobre las mujeres, el software aprendió a hacer lo mismo.
Preparación de los datos. Finalmente, es posible introducir sesgos durante la etapa de preparación de datos a la hora de seleccionar los atributos que deseamos que el algoritmo tenga en cuenta. (No debe confundirse con la etapa de la definición del problema. Es posible usar los mismos atributos para entrenar un modelo para objetivos muy diferentes o usar atributos muy distintos para entrenar un modelo para el mismo objetivo). En el caso de modelar la solvencia crediticia, un “atributo” podría ser la edad del cliente, los ingresos o la cantidad de préstamos pagados. En el caso de la herramienta de reclutamiento de Amazon, un “atributo” podría ser el género, el nivel de educación o los años de experiencia de los candidatos. Esto es lo que la gente suele denominar como el “arte” del aprendizaje profundo: elegir qué atributos considerar o ignorar puede influir significativamente en la precisión de la predicción de un modelo. Pero, aunque resulta fácil medir su impacto en la precisión, medir sus sesgos es un proceso bastante complicado.
¿Por qué cuesta tanto corregirlos?
Visto el contexto, es fácil percibir algunos de los desafíos a la hora mitigar el sesgo algorítmico. Aquí destacamos los cuatro principales.
Desconocer lo que se desconoce. La introducción del sesgo no siempre resulta obvia durante la construcción del modelo porque es posible que uno no se dé cuenta hasta mucho más tarde de los impactos posteriores de los datos y las decisiones. Una vez introducido, es difícil identificar de forma retroactiva de dónde ha venido el sesgo y averiguar cómo deshacerse de él. En el caso de Amazon, cuando los informáticos descubrieron que su herramienta estaba descartando a las mujeres candidatas, lo reprogramaron para que ignorara las palabras con género explícito como “mujeres”. Pronto descubrieron que la revisión seguía recogiendo palabras con género implícito, como verbos altamente correlacionados con hombres y no con mujeres, como “ejecutado” y “capturado”, y que esos verbos todavía influían en la toma de decisiones del sistema.
Procesos mal diseñados. Primero, muchas de las prácticas comunes en el aprendizaje profundo no están diseñadas para tener en cuenta la detección de sesgos. El rendimiento de los modelos de aprendizaje profundo se prueba antes de su implementación, lo que parece una oportunidad perfecta para identificar sesgos. Pero en la práctica, las pruebas funcionan así: los informáticos dividen sus datos al azar y utilizan uno de los grupos para entrenar al algoritmo. El otro se reserva para validar su eficacia posteriormente. Eso significa que los datos de control para probar el rendimiento del modelo tienen los mismos sesgos que los datos de entrenamiento. Por lo tanto, es imposible detectar que los resultados están sesgados.
Falta de contexto social. Del mismo modo, la forma en la que se enseña a los informáticos a abordar los problemas a menudo no encaja con la mejor forma de pensar en dichos problemas. Por ejemplo, en un artículo del postdoctorado del Instituto de Investigación de Data & Society Andrew Selbst, el investigador identifica lo que ha bautizado como la “trampa de la portabilidad”. En informática, diseñar un sistema que se pueda usar para diferentes tareas en distintos contextos se considera una buena práctica. Pero Selbst lamenta: “Ese enfoque ignora gran parte del contexto social. Un sistema diseñado para EE. UU. no puede aplicarse directamente a Canadá porque son comunidades distintas con iferentes versiones de la imparcialidad. Tampoco es posible tener un sistema para obtener resultados penales ‘justos’ y aplicarlo al empleo. La forma en la que pensamos sobre la equidad en esos contextos es totalmente diferente”.
Distintas definiciones de equidad. Tampoco está claro qué aspecto debería tener la ausencia de sesgo algorítmico. Esto no ocurre solo en informática, es una cuestión que tiene una larga historia de debates en filosofía, ciencias sociales y derecho. La diferencia es que en informática el concepto de equidad debe definirse en términos matemáticos, como equilibrar las tasas de falso positivo y falso negativo en un sistema de predicción. Pero los investigadores han descubierto que hay muchas definiciones matemáticas diferentes de equidad que también se excluyen mutuamente. ¿La equidad significa, por ejemplo, que la misma proporción de individuos blancos y negros debería recibir los mismos puntos de evaluación de alto riesgo? ¿O que el mismo nivel de riesgo debería resultar en la misma puntuación independientemente de la raza? Es imposible cumplir ambas definiciones al mismo tiempo (aquí hay un análisis más detallado de por qué), por lo que en algún momento habrá que elegir una de ellas. Pero mientras que en otros campos se entiende que esta decisión es algo que puede cambiar con el tiempo, en el campo de la informática estas definiciones suelen ser fijas. “Al determinar la respuesta, la resolución del problema tiene un aspecto muy diferente al que tiene la sociedad sobre la misma cuestión”, explica Selbst.
Qué podemos hacer ahora
Si esta vertiginosa explicación del enorme alcance del problema de sesgo en IA le está dando mareos, a mí también. Pero, afortunadamente, un gran grupo de investigadores de IA está trabajando arduamente para abordar este problema. Y para ello han adoptado una gran variedad de enfoques: algoritmos que ayudan a detectar y mitigar los sesgos ocultos dentro de los datos de entrenamiento o que reducen los sesgos aprendidos por el modelo independientemente de la calidad de los datos; procesos que hacen que las empresas sean responsables de contar con los resultados más justos y análisis que eliminan las diferentes definiciones de la imparcialidad.
“Corregir la discriminación en los sistemas algorítmicos no es algo que se pueda resolver fácilmente. Es un proceso continuo, al igual que la discriminación en cualquier otro aspecto de la sociedad”, concluye Selbst.
Fuente
Compartir esto: