¿Podemos hacer un reconocimiento facial no racista?

A medida que las compañías compiten por emplear el reconocimiento facial en todas partes, desde los parques de béisbol de las grandes ligas hasta la escuela local y el campamento de verano, nos enfrentamos a duras preguntas sobre el potencial de la tecnología para intensificar los prejuicios raciales; se ha demostrado repetidamente que el software de reconocimiento facial comercial es menos preciso para las personas de piel más oscura, y los defensores de los derechos civiles se preocupan por las maneras inquietantes en que la policía puede utilizar el escaneo facial.

Sin embargo, estos sistemas siguen extendiéndose por todo el país, con la seguridad de que los algoritmos más precisos están en camino. Pero, ¿es realmente posible la implementación de un reconocimiento facial verdaderamente no racista (a diferencia de lo que sucede con los “daltónicos”)? Para ayudar a responder a esta pregunta, hablamos con expertos en reconocimiento facial, raza y vigilancia, y les pedimos que consideraran si alguna vez podríamos remediar los sesgos técnicos, culturales y carcelarios del reconocimiento facial.

Sesgos técnicos y soluciones técnicas

A principios de este año, los investigadores del MIT Joy Buolamwini y Timnit Gebru destacaron una de las formas en que el reconocimiento facial está sesgado en contra de las personas de raza negra: las caras de piel más oscura están subrepresentadas en los conjuntos de datos utilizados para entrenarlas, lo que deja el reconocimiento facial más inexacto cuando se miran las caras oscuras. Los investigadores encontraron que cuando a varios algoritmos de reconocimiento facial se les asignó la tarea de identificar el sexo, clasificaron erróneamente a las mujeres de piel oscura como hombres hasta en 34.7 por ciento de las veces. La tasa de error máxima para los hombres de piel clara, por otro lado, fue de menos de uno por ciento.

“El fallar en uno de cada tres, en un sistema comercial, en algo que ha sido reducido a una tarea de clasificación binaria, hay que preguntarse, ¿estaría permitido si esas tasas de fracaso estuvieran en un subgrupo diferente?” Buolamwini preguntó en un comunicado de prensa adjunto del MIT.

En el artículo, el clasificador de género de Microsoft tenía una tasa de error de 20.8 por ciento para las mujeres de piel oscura. En respuesta, Microsoft anunció en junio que estaba recalibrando los datos de entrenamiento mediante la diversificación de los tonos de piel en las imágenes de entrenamiento facial, aplaudiéndose a sí misma por equilibrar las discrepancias raciales en las tasas de clasificación de género. Esto, sin embargo, sólo habla de un tipo de sesgo en el reconocimiento facial.

“Estamos hablando de dos cuestiones distintas y únicas en nuestra industria”, dijo a Gizmodo Brian Brackeen, director ejecutivo de la nueva empresa de AI Kairos. Los sesgos técnicos, explicó, tienen soluciones técnicas. Pero incluso el reconocimiento facial en pleno funcionamiento puede favorecer sistemas sesgados, un problema que requiere soluciones más complejas desde el punto de vista cultural. “Ambos son problemas y ambos merecen atención, pero son dos cosas separadas.”

Kairos fabrica sistemas biométricos de inicio de sesión que permiten a los clientes de los bancos usar su cara para verificar sus cuentas, a los empleados que llegan al trabajo y a la gente de los parques de diversiones acceder a carriles de paso rápido. En estos contextos, dice Brackeen, los riesgos de un falso positivo o un falso negativo son mucho menores. Ser identificado erróneamente por su banco no es lo mismo que ser identificado erróneamente por la policía.

“Me siento mucho más cómodo vendiendo reconocimiento facial a parques temáticos, líneas de cruceros o bancos”, dijo Brackeen, “si tienes que ingresar a tu cuenta[bancaria] dos veces porque eres afroamericano, eso es injusto”. Pero no te van a disparar”.

Brackeen, quien en broma se identifica como “probablemente el único” CEO negro de una compañía de reconocimiento facial, entró en los medios de comunicación el mes pasado cuando reveló que Kairos rechazó un contrato con el fabricante de cámaras corporales Axon. Según Brackeen, el reconocimiento de los rostros mejora exponencialmente las capacidades de la policía, lo que, a su vez, exacerba exponencialmente los prejuicios de la policía.

“Cuando se habla de una herramienta de IA en una cámara corporal, entonces estas son habilidades extra-humanas. Digamos que un oficial puede identificar 30 imágenes por hora”, dijo Brackeen. “Si le preguntaras a un departamento de policía si estaban dispuestos a limitar[el reconocimiento] a 30 reconocimientos por hora, dirían que no. Porque no se trata de la hora del oficial. Se trata de una habilidad sobrehumana para identificar a la gente, lo que cambia el contrato social”.

En última instancia, Brackeen ve una solución de fin de proveedor: En un editorial del mes pasado, hizo un llamado para que todas las empresas de reconocimiento facial dejen de vender su tecnología a los organismos encargados de hacer cumplir la ley.

Fruta de un árbol venenoso

El reconocimiento facial funciona comparando a la persona escaneada con una base de datos de imágenes faciales. En contextos policiales, estas bases de datos pueden incluir fotos o fotos de pasaporte y licencia de conducir. En Orlando, la policía se asoció con Amazon para probar el reconocimiento facial conectado a cámaras de vigilancia en lugares públicos. En Nueva York, los distritos escolares han comenzado a explorar sistemas similares para escanear los rostros de los visitantes después del tiroteo en Parkland. En ambos casos, el objetivo es identificar instantáneamente a las personas de interés, como las que tienen órdenes de detención pendientes.

Esto, sin embargo, supone que las órdenes se distribuyen “justamente” o que siempre deberían desencadenar la intervención policial. Consideremos Ferguson, Missouri, donde la muerte a tiros de Mike Brown desencadenó días de protestas. Una investigación del Departamento de Justicia después de la muerte de Brown encontró que la policía de Ferguson estaba “moldeada por el enfoque de la ciudad en los ingresos más que por las necesidades de seguridad pública”. Como se explica en el informe, la policía se centró rutinariamente en los conductores negros para detenerlos y registrarlos como parte de un modelo de ingresos racista y lucrativo, emitiendo órdenes de arresto por pagos parciales o no efectuados.

Los números eran asombrosos: Representando el 67 por ciento de la población de Ferguson, los ciudadanos negros fueron el objetivo del 85 por ciento de las paradas de tráfico, y el 91 por ciento de todas las paradas resultaron en alguna forma de citación. En un futuro en el que todos los conductores sean instantáneamente identificables a través del reconocimiento facial, considere cómo sería la vida de cualquier persona instantáneamente emparejada e identificada con una orden de arresto pendiente como resultado de un sistema sesgado. A medida que el reconocimiento facial se estandariza y entra en escuelas, estadios, aeropuertos y centros de tránsito, las facultades de vigilancia de la policía aumentan. Incluso con modelos de entrenamiento recalibrados, el “sesgo” está presente. Un académico con el que hablamos argumentó que el reconocimiento facial libre de prejuicios nunca podría existir en el sistema policial.

“[El reconocimiento de rostros] imagina a la policía como neutral. Sabemos que ese no es el caso,” Simone Browne, profesora asistente de la Universidad de Texas en Austin y autora de Dark Matters: On the Surveillance of Blackness, dijo a Gizmodo. Dark Matters argumenta que la vigilancia biométrica convierte al cuerpo en una forma de evidencia, una forma de hiper-objetivo con conexiones históricas con la esclavitud. Browne escribe:

La vigilancia racista también forma parte de la esfera digital, con consecuencias materiales dentro y fuera de ella… los datos que se extraen o se producen sobre individuos y grupos se perfilan, circulan y comercializan dentro y entre las bases de datos. Estos datos suelen estar marcados por el género, la nacionalidad, la región, la raza, el estatus socioeconómico y… para algunos, estas categorías son particularmente perjudiciales.

Browne argumenta que el reconocimiento facial crea una copia digital de nuestro ser físico que funciona como una identificación, que luego es analizada, compartida, escudriñada, comparada con nosotros -esencialmente traficada- como un medio para verificar nuestra identidad y rastrear nuestro comportamiento. El reconocimiento facial categoriza a los seres humanos, convirtiéndose así en un vehículo para los resultados a veces perjudiciales de poner a las personas en categorías biométricas. Podemos ver las consecuencias de esta categorización en las bases de datos de pandillas, en las listas de vigilancia del terrorismo e incluso en las listas de compradores preferidos.

“Todavía no podemos imaginar que eso vaya a mejorar las cosas para la gente negra, porque el sistema policial sigue intacto”, advirtió Browne.

¿Quién se beneficia de los avances?

“Vivimos en un momento de tecnología acelerada, desarrollo tecnológico acelerado[y] desarrollo científico”, dijo a Gizmodo Alondra Nelson, directora de Datos y Sociedad, que estudia los impactos sociales de la tecnología. “Momentos de pausa y reflexión son necesarios y, creo, importantes recordatorios de que no sólo tenemos que ser engranajes en un sistema de movimiento rápido.”

Respondiendo al post inicial de Microsoft sobre la clasificación de género, Nelson se mostró escéptico, twitteando en ese momento: “Debemos dejar de confundir la’inclusión’ en sistemas de vigilancia más’diversos’ con justicia e igualdad.”

“Mucho de mi trabajo ha hablado de la manera en que las comunidades de color de la comunidad afroestadounidense entendían cómo podían estar desatendidas por el tipo de papel positivo de una nueva tecnología en particular, pero a menudo sobreexpuestas a su peor dinámica posible”, dijo Nelson.

Este doble vínculo -en el que la gente negra está sometida a la ciencia y no apoyada por ella- está encapsulado en el concepto de “apartheid médico”, un término acuñado por la autora Harriet Washington. Nacido del sólido análisis histórico de Washington sobre las experimentaciones médicas con esclavos, el “apartheid médico” se refiere a cómo se ha experimentado con los negros en aras de avances científicos de los que no se benefician. Uno de los ejemplos más infames proviene del trabajo de James Marion Sims, quien es notado por algunos como el “padre de la ginecología” para reducir las tasas de mortalidad materna en el siglo XIX, pero llevó a cabo investigaciones mediante la realización de experimentos espantosos sobre mujeres negras esclavizadas.

“Todos los primeros e importantes avances en salud reproductiva fueron ideados perfeccionando experimentos con mujeres negras”, dijo Washington en una entrevista en 2007. “¿Por qué? Porque las mujeres blancas podían decir que no.” Siglos más tarde, la tasa de mortalidad materna de las mujeres negras es tres veces mayor que la de las mujeres blancas.

El reconocimiento facial no es tan nefasto, pero el “apartheid médico” es un marco útil para considerar cómo las diferentes poblaciones tienen diferentes roles en el desarrollo, el avance, el impacto y, en última instancia, el beneficio de los avances científicos y tecnológicos. Esta disparidad se ilustra con una simple pregunta: ¿Qué poblaciones pueden decir que no?

“Esto no es algo que sólo deban preguntar[las empresas], sino que tiene que ver más con la gobernabilidad democrática”, dijo Nelson. “Necesitamos estar abiertos a la posibilidad democrática de que tener una mejor tecnología de vigilancia no es necesariamente mejor.”

Fuera de contextos como el policial, los prejuicios (tanto técnicos como culturales) parecen mucho menos amenazadores. Pero la pregunta sigue en pie: ¿Pueden las personas negras decir no a que se les escanee la cara, incluso si está estadísticamente balanceada, comercialmente aplicada o bastante regulada? Como todo el mundo, las personas de raza negra deberían poder disfrutar de comodidades como líneas de aeropuerto más cortas y conexiones más fáciles. Pero al evaluar el efecto positivo o negativo de una tecnología emergente en una sociedad, necesitamos preguntarnos si tiene impactos dispares en los miembros de esa sociedad, no sólo si es divertida o inclusiva.

Vigilando a los vigilantes

A principios de este mes, el presidente de Microsoft, Brad Smith, hizo un llamado público (y ampliamente reportado) para que el gobierno de Estados Unidos regule el reconocimiento facial después de la reacción del público al contrato actual de su compañía con ICE. “Como principio general”, escribió Smith, “parece más sensato pedir a un gobierno elegido que regule a las empresas que a las empresas no elegidas que lo hagan”.

Smith pidió la creación de una “comisión de expertos bipartidistas” para guiar la regulación de la tecnología de reconocimiento facial. Al principio parecía una estratagema de relaciones públicas, no muy diferente a los paneles de diversidad de los años de Obama o a los recientemente de moda comités de ética de la IA reunidos con grandes nombres, grandes elogios y sin poderes de ejecución. Sin embargo, la propuesta de Smith presentaba una diferencia importante: Las comisiones federales tienen el oído directo de los miembros del Congreso, que son más audaces que nunca en su deseo de regular el “bastión liberal” de Silicon Valley, y pueden expedir citaciones para documentos e información generalmente oscurecidos por las leyes de protección de la propiedad. Es una sugerencia alentadora, pero abordar los sesgos en el reconocimiento facial requiere mucho más.

Para crear un reconocimiento facial “no racista”, las empresas que lo venden deben, sí, abordar los defectos técnicos de sus sistemas, pero también tendrán que ejercer un imperativo moral de no dar la tecnología a grupos que operan con prejuicios raciales. Además, los legisladores tendrían que imponer límites estrictos sobre cómo y cuándo se puede usar el escaneo facial. Incluso entonces, el reconocimiento imparcial del rostro será imposible si no se aborda el racismo en el sistema de justicia penal en el que inevitablemente se utilizará.

Alcanzar estos objetivos puede parecer poco realista, pero esto sólo demuestra lo apremiante que es el problema. Lamentablemente, estas no son preocupaciones hipotéticas sobre un futuro distópico distante. Precisamente este mes, el departamento de policía de Orlando renovó su muy criticado programa piloto de reconocimiento de rostros con Amazon, mientras que el gobernador de Nueva York anunció que el escáner facial pronto llegaría a los puentes y túneles de toda la ciudad de Nueva York.

El reconocimiento de rostros se está comercializando a los consumidores como una conveniencia de vanguardia, pero tiene vínculos claros con la vigilancia y, en última instancia, el control. Imagínese si cada anuncio o artículo que promoviera un sistema de “paga con la cara” también mostrara bases de datos de delincuentes o listas de vigilancia de terroristas. Si lo hicieran, veríamos con más honestidad el impacto del reconocimiento facial.

Fuente