A principios de este mes, Ohio se convirtió en el último de varios gobiernos estatales y locales de Estados Unidos en impedir que los agentes del orden utilizaran las bases de datos de reconocimiento facial. La medida siguió a los informes de que la agencia de Inmigración y Aduanas había estado escaneando millones de fotos en las bases de datos de licencias de conducir del estado, datos que podían ser utilizados para identificar y deportar a los inmigrantes indocumentados. Investigadores de la Universidad de Georgetown en Washington DC usaron solicitudes de registros públicos para revelar esta operación previamente secreta, que se estaba llevando a cabo sin el consentimiento de individuos o la autorización de legisladores estatales o federales.
No es el único proyecto de este tipo. El Servicio de Aduanas y Protección de Fronteras está utilizando algo similar en los aeropuertos, creando un registro de la salida de cada pasajero. El gigante tecnológico Amazon está estableciendo alianzas con más de 200 departamentos de policía para promover sus cámaras de seguridad Ring en todo Estados Unidos. Amazon tiene acceso continuo a material de video; la policía recibe sobornos por productos tecnológicos.
La tecnología de reconocimiento facial no está preparada para este tipo de despliegue, ni los gobiernos para evitar que cause daño. Se necesitan urgentemente salvaguardias reglamentarias más estrictas, al igual que un debate público más amplio sobre el impacto que ya está teniendo. Una legislación integral debe garantizar restricciones en su uso, así como la transparencia, el debido proceso y otros derechos básicos. Hasta que esas salvaguardias estén en vigor, necesitamos una moratoria sobre el uso de esta tecnología en los espacios públicos.
Hay pocas pruebas de que la tecnología biométrica pueda identificar a los sospechosos rápidamente o en tiempo real. Ningún estudio revisado por pares ha mostrado datos convincentes de que la tecnología tenga suficiente precisión para cumplir con los estándares constitucionales de los Estados Unidos de debido proceso, causa probable y protección igualitaria que se requieren para los registros y arrestos.
Incluso el mayor proveedor mundial de cámaras corporales de la policía – Axon en Scottsdale, Arizona – anunció este año que no desplegaría tecnología de reconocimiento facial en ninguno de sus productos porque era demasiado poco fiable para el trabajo policial y “podría exacerbar las desigualdades existentes en la policía, por ejemplo, penalizando a las comunidades negras o LGBTQ“. Tres ciudades de Estados Unidos han prohibido el uso del reconocimiento facial por parte de los organismos encargados de hacer cumplir la ley, aduciendo preocupaciones de parcialidad.
Tienen razón en estar preocupados. Estas herramientas generan muchos de los mismos sesgos que los funcionarios encargados de hacer cumplir la ley, pero con la falsa pátina de la neutralidad técnica. Los investigadores Joy Buolamwini del Instituto Tecnológico de Massachusetts en Cambridge y Timnit Gebru, entonces de Microsoft Research en la ciudad de Nueva York, mostraron que algunos de los programas de reconocimiento facial más avanzados no identificaban con precisión a las mujeres de piel oscura el 35% de las veces, en comparación con una tasa de error del 1% para los hombres blancos. Trabajos separados mostraron que estas tecnologías no emparejaban a 28 miembros del Congreso de los EE.UU. con una base de datos de fotos, con una tasa de error de casi el 40% para los miembros de color. Investigadores de la Universidad de Essex en Colchester, Reino Unido, probaron una tecnología de reconocimiento facial utilizada por la Policía Metropolitana de Londres, y encontraron que sólo hizo 8 coincidencias correctas de una serie de 42, una tasa de error que ellos sospechan que no sería encontrada legal en la corte. Posteriormente, una comisión parlamentaria pidió que se suspendieran los ensayos de la tecnología de reconocimiento facial hasta que se pudiera establecer un marco legal.
Pero no debemos imaginar que lo máximo que podemos esperar es una paridad técnica para el arsenal de vigilancia. Se necesita mucho más que mejoras técnicas. Estas herramientas son peligrosas cuando fallan y dañinas cuando funcionan. Necesitamos barandillas legales para todos los sistemas de vigilancia biométrica, especialmente porque mejoran en precisión e invasividad. En consecuencia, el Instituto AI Now, del que fui cofundadora en la Universidad de Nueva York, ha elaborado cuatro principios para un marco de protección.
En primer lugar, dados los costosos errores, la discriminación y las invasiones de la privacidad asociados con los sistemas de reconocimiento facial, los responsables de la formulación de políticas no deberían financiarlos ni desplegarlos hasta que hayan sido investigados y se hayan establecido fuertes protecciones. Esto incluye la prohibición de enlaces entre bases de datos privadas y gubernamentales.
En segundo lugar, la legislación debería exigir que los organismos públicos revisen rigurosamente las tecnologías biométricas en busca de sesgos, privacidad y derechos civiles, así como que soliciten la opinión del público antes de que se utilicen. A las agencias que deseen desplegar estas tecnologías se les debe exigir que lleven a cabo una evaluación de impacto algorítmico formal (AIA). Modelados a partir de marcos de evaluación de impacto para los derechos humanos, la protección del medio ambiente y la protección de datos, los AIA ayudan a los gobiernos a evaluar los sistemas de inteligencia artificial y a garantizar la participación del público.
Tercero, los gobiernos deben exigir a las empresas que renuncien a cualquier restricción legal sobre la investigación o supervisión de estos sistemas. Como se señala en el Informe AI Now 2018, las empresas de tecnología pueden actualmente utilizar las leyes de secreto comercial para protegerse del escrutinio público. Esto crea una ‘caja negra’ legal que es tan opaca como cualquier ‘caja negra’ algorítmica, y sirve para cerrar las investigaciones sobre las implicaciones sociales de estos sistemas.
Por último, necesitamos una mayor protección de los denunciantes de irregularidades para los empleados de las empresas de tecnología, a fin de garantizar que los otros tres principios funcionen. Los propios trabajadores de la tecnología han surgido como una poderosa fuerza de rendición de cuentas: por ejemplo, los denunciantes revelaron el trabajo de Google en un motor de búsqueda censurado en China. Sin mayores protecciones, corren el riesgo de sufrir represalias.
Los académicos han estado señalando los riesgos técnicos y sociales del reconocimiento facial durante años. Una mayor precisión no es el punto. Necesitamos garantías legales sólidas que garanticen los derechos civiles, la justicia y la rendición de cuentas. De lo contrario, esta tecnología nos hará a todos menos libres.
Via
A principios de este mes, Ohio se convirtió en el último de varios gobiernos estatales y locales de Estados Unidos en impedir que los agentes del orden utilizaran las bases de datos de reconocimiento facial. La medida siguió a los informes de que la agencia de Inmigración y Aduanas había estado escaneando millones de fotos en las bases de datos de licencias de conducir del estado, datos que podían ser utilizados para identificar y deportar a los inmigrantes indocumentados. Investigadores de la Universidad de Georgetown en Washington DC usaron solicitudes de registros públicos para revelar esta operación previamente secreta, que se estaba llevando a cabo sin el consentimiento de individuos o la autorización de legisladores estatales o federales.
No es el único proyecto de este tipo. El Servicio de Aduanas y Protección de Fronteras está utilizando algo similar en los aeropuertos, creando un registro de la salida de cada pasajero. El gigante tecnológico Amazon está estableciendo alianzas con más de 200 departamentos de policía para promover sus cámaras de seguridad Ring en todo Estados Unidos. Amazon tiene acceso continuo a material de video; la policía recibe sobornos por productos tecnológicos.
La tecnología de reconocimiento facial no está preparada para este tipo de despliegue, ni los gobiernos para evitar que cause daño. Se necesitan urgentemente salvaguardias reglamentarias más estrictas, al igual que un debate público más amplio sobre el impacto que ya está teniendo. Una legislación integral debe garantizar restricciones en su uso, así como la transparencia, el debido proceso y otros derechos básicos. Hasta que esas salvaguardias estén en vigor, necesitamos una moratoria sobre el uso de esta tecnología en los espacios públicos.
Hay pocas pruebas de que la tecnología biométrica pueda identificar a los sospechosos rápidamente o en tiempo real. Ningún estudio revisado por pares ha mostrado datos convincentes de que la tecnología tenga suficiente precisión para cumplir con los estándares constitucionales de los Estados Unidos de debido proceso, causa probable y protección igualitaria que se requieren para los registros y arrestos.
Incluso el mayor proveedor mundial de cámaras corporales de la policía – Axon en Scottsdale, Arizona – anunció este año que no desplegaría tecnología de reconocimiento facial en ninguno de sus productos porque era demasiado poco fiable para el trabajo policial y “podría exacerbar las desigualdades existentes en la policía, por ejemplo, penalizando a las comunidades negras o LGBTQ“. Tres ciudades de Estados Unidos han prohibido el uso del reconocimiento facial por parte de los organismos encargados de hacer cumplir la ley, aduciendo preocupaciones de parcialidad.
Tienen razón en estar preocupados. Estas herramientas generan muchos de los mismos sesgos que los funcionarios encargados de hacer cumplir la ley, pero con la falsa pátina de la neutralidad técnica. Los investigadores Joy Buolamwini del Instituto Tecnológico de Massachusetts en Cambridge y Timnit Gebru, entonces de Microsoft Research en la ciudad de Nueva York, mostraron que algunos de los programas de reconocimiento facial más avanzados no identificaban con precisión a las mujeres de piel oscura el 35% de las veces, en comparación con una tasa de error del 1% para los hombres blancos. Trabajos separados mostraron que estas tecnologías no emparejaban a 28 miembros del Congreso de los EE.UU. con una base de datos de fotos, con una tasa de error de casi el 40% para los miembros de color. Investigadores de la Universidad de Essex en Colchester, Reino Unido, probaron una tecnología de reconocimiento facial utilizada por la Policía Metropolitana de Londres, y encontraron que sólo hizo 8 coincidencias correctas de una serie de 42, una tasa de error que ellos sospechan que no sería encontrada legal en la corte. Posteriormente, una comisión parlamentaria pidió que se suspendieran los ensayos de la tecnología de reconocimiento facial hasta que se pudiera establecer un marco legal.
Pero no debemos imaginar que lo máximo que podemos esperar es una paridad técnica para el arsenal de vigilancia. Se necesita mucho más que mejoras técnicas. Estas herramientas son peligrosas cuando fallan y dañinas cuando funcionan. Necesitamos barandillas legales para todos los sistemas de vigilancia biométrica, especialmente porque mejoran en precisión e invasividad. En consecuencia, el Instituto AI Now, del que fui cofundadora en la Universidad de Nueva York, ha elaborado cuatro principios para un marco de protección.
En primer lugar, dados los costosos errores, la discriminación y las invasiones de la privacidad asociados con los sistemas de reconocimiento facial, los responsables de la formulación de políticas no deberían financiarlos ni desplegarlos hasta que hayan sido investigados y se hayan establecido fuertes protecciones. Esto incluye la prohibición de enlaces entre bases de datos privadas y gubernamentales.
En segundo lugar, la legislación debería exigir que los organismos públicos revisen rigurosamente las tecnologías biométricas en busca de sesgos, privacidad y derechos civiles, así como que soliciten la opinión del público antes de que se utilicen. A las agencias que deseen desplegar estas tecnologías se les debe exigir que lleven a cabo una evaluación de impacto algorítmico formal (AIA). Modelados a partir de marcos de evaluación de impacto para los derechos humanos, la protección del medio ambiente y la protección de datos, los AIA ayudan a los gobiernos a evaluar los sistemas de inteligencia artificial y a garantizar la participación del público.
Tercero, los gobiernos deben exigir a las empresas que renuncien a cualquier restricción legal sobre la investigación o supervisión de estos sistemas. Como se señala en el Informe AI Now 2018, las empresas de tecnología pueden actualmente utilizar las leyes de secreto comercial para protegerse del escrutinio público. Esto crea una ‘caja negra’ legal que es tan opaca como cualquier ‘caja negra’ algorítmica, y sirve para cerrar las investigaciones sobre las implicaciones sociales de estos sistemas.
Por último, necesitamos una mayor protección de los denunciantes de irregularidades para los empleados de las empresas de tecnología, a fin de garantizar que los otros tres principios funcionen. Los propios trabajadores de la tecnología han surgido como una poderosa fuerza de rendición de cuentas: por ejemplo, los denunciantes revelaron el trabajo de Google en un motor de búsqueda censurado en China. Sin mayores protecciones, corren el riesgo de sufrir represalias.
Los académicos han estado señalando los riesgos técnicos y sociales del reconocimiento facial durante años. Una mayor precisión no es el punto. Necesitamos garantías legales sólidas que garanticen los derechos civiles, la justicia y la rendición de cuentas. De lo contrario, esta tecnología nos hará a todos menos libres.
Via
Compartir esto: