Los problemas de Amazon con su tecnología de reconocimiento facial, Rekognition, comenzaron el pasado mes de junio, cuando trascendió que la compañía estaba vendiendo esa tecnología a algunas agencias gubernamentales, entre ellas ese polémico Servicio de Inmigración y Control de Aduanas de los Estados Unidos (ICE) responsable de las barbaridades cometidas en la frontera separando a niños de sus familias. En aquel momento, la compañía tuvo que hacer frente a protestas de sus empleados demandando que interrumpiesen su colaboración con la agencia, exigiendo a la compañía en la que trabajaban que respondiese a unos principios éticos que consideraban esenciales.
En realidad, los problemas se habían iniciado algo más de un mes antes: la American Civil Liberties Union (ACLU), una de las asociaciones en defensa de los derechos civiles más activas y eficientes del país, comenzó una campaña de denuncia en las que, a raíz de una entrada en el blog de Amazon AWS en la que mencionaba como un ejemplo más que su tecnología Rekognition estaba siendo utilizada por la oficina del Sherif del Condado de Washington, hablaba del potencial peligro que suponía el uso de esa tecnología por parte de las autoridades, no solo por las posibilidades que ofrecía, sino también por el riesgo de errores en la identificación.
Como parte de esa campaña de denuncia, ACLU decidió llevar su protesta al Congreso de los Estados Unidos, y lo hizo de una inteligente manera que le ha permitido no solo escalar la visibilidad del tema, sino además, garantizarse una respuesta de varios de los parlamentarios: aplicaron la tecnología a la fotografías oficiales de los parlamentarios, y demostraron no solo que se equivocaba en 28 de los 535 miembros del Congreso, sino que además, los identificaba como criminales en una base de datos de personas arrestadas, de acceso público y compuesta por unas 25,000 fotografías. Los parlamentarios falsamente asociados con la base de datos de criminales incluían tanto republicanos como demócratas, hombres y mujeres de todo el país y de distintas edades, pero además, como algunos estudios han demostrado anteriormente, cometían llamativamente más errores con personas de color: un 40% de las identificaciones erróneas correspondían a este caso, a pesar de que en el Congreso hay tan solo un 20% de personas de esa raza.
La idea que subyace tras el experimento de ACLU es brillante: demostrar a los propios parlamentarios que ellos mismos podrían ser falsamente identificados como criminales si Rekognition se estuviese utilizando rutinariamente por parte de las autoridades. Lógicamente, los parlamentarios no están en absoluto contentos con ello, y solicitan respuestas a la compañía. Un “Jeff, tenemos que hablar” que indudablemente provocará cambios en el proceso de adopción de este tipo de tecnologías por parte de las autoridades, y que podría convertirse en el inicio de un muy necesario proceso de reflexión sobre el tema.
Amazon ha defendido su tecnología y ha achacado los decepcionantes resultados a una mala calibración de su algoritmo. Sin embargo, para hacer las pruebas, ACLU utilizó el algoritmo a través de AWS tal y como Amazon lo ofrece, y de hecho, incurrió en un coste total de 12.33 dólares. Según la compañía, el nivel de confianza recomendado para el uso del algoritmo en el caso de utilizarlo para identificación facial es del 95%, mientras que ACLU utilizó un nivel del 80%, según ellos más adecuado para identificar objetos. De una manera o de otra, el efecto de demostración ha funcionando, y el escrutinio sobre el uso de Rekognition o de otras tecnologías similares será seguramente mayor a partir de ahora, o incluso servirá para que otras compañías, como Microsoft, afirmen ser superiores en ese sentido.
Sin duda, un verdadero punto para ACLU a la hora de demostrar la importancia de que la sociedad cuente con asociaciones que defiendan adecuadamente los derechos civiles. La reflexión sobre el uso de tecnologías como la de reconocimiento facial es sumamente importante, y define, en muchos sentidos, el tipo de sociedad en el que queremos vivir. La decisión, obviamente, no es tan sencilla como “adopción o no adopción”: toda tecnología que se considere madura no puede ser sencillamente ignorada o relegada sin más, y menos aún en el caso de una tecnología que tiende, dado su funcionamiento, a mejorar en función del uso, a medida que sus algoritmos se enfrentan a más y más casos. Podemos considerar que la tecnología no está aún madura para su uso por parte de autoridades públicas y que, en caso de ser utilizada, podría generar desigualdades y errores potencialmente discriminatorios, pero esa discusión no es siquiera la que de verdad vale la pena, porque existen pocas dudas acerca del potencial de la tecnología para funcionar bien o hacerlo dentro de unos límites de confianza razonables. La verdadera discusión interesante viene después, cuando la tecnología ya funcione: ¿para qué la vamos a utilizar? ¿En qué circunstancias? y sobre todo… ¿a qué tipo de sociedad nos aboca?
Los problemas de Amazon con su tecnología de reconocimiento facial, Rekognition, comenzaron el pasado mes de junio, cuando trascendió que la compañía estaba vendiendo esa tecnología a algunas agencias gubernamentales, entre ellas ese polémico Servicio de Inmigración y Control de Aduanas de los Estados Unidos (ICE) responsable de las barbaridades cometidas en la frontera separando a niños de sus familias. En aquel momento, la compañía tuvo que hacer frente a protestas de sus empleados demandando que interrumpiesen su colaboración con la agencia, exigiendo a la compañía en la que trabajaban que respondiese a unos principios éticos que consideraban esenciales.
En realidad, los problemas se habían iniciado algo más de un mes antes: la American Civil Liberties Union (ACLU), una de las asociaciones en defensa de los derechos civiles más activas y eficientes del país, comenzó una campaña de denuncia en las que, a raíz de una entrada en el blog de Amazon AWS en la que mencionaba como un ejemplo más que su tecnología Rekognition estaba siendo utilizada por la oficina del Sherif del Condado de Washington, hablaba del potencial peligro que suponía el uso de esa tecnología por parte de las autoridades, no solo por las posibilidades que ofrecía, sino también por el riesgo de errores en la identificación.
Como parte de esa campaña de denuncia, ACLU decidió llevar su protesta al Congreso de los Estados Unidos, y lo hizo de una inteligente manera que le ha permitido no solo escalar la visibilidad del tema, sino además, garantizarse una respuesta de varios de los parlamentarios: aplicaron la tecnología a la fotografías oficiales de los parlamentarios, y demostraron no solo que se equivocaba en 28 de los 535 miembros del Congreso, sino que además, los identificaba como criminales en una base de datos de personas arrestadas, de acceso público y compuesta por unas 25,000 fotografías. Los parlamentarios falsamente asociados con la base de datos de criminales incluían tanto republicanos como demócratas, hombres y mujeres de todo el país y de distintas edades, pero además, como algunos estudios han demostrado anteriormente, cometían llamativamente más errores con personas de color: un 40% de las identificaciones erróneas correspondían a este caso, a pesar de que en el Congreso hay tan solo un 20% de personas de esa raza.
La idea que subyace tras el experimento de ACLU es brillante: demostrar a los propios parlamentarios que ellos mismos podrían ser falsamente identificados como criminales si Rekognition se estuviese utilizando rutinariamente por parte de las autoridades. Lógicamente, los parlamentarios no están en absoluto contentos con ello, y solicitan respuestas a la compañía. Un “Jeff, tenemos que hablar” que indudablemente provocará cambios en el proceso de adopción de este tipo de tecnologías por parte de las autoridades, y que podría convertirse en el inicio de un muy necesario proceso de reflexión sobre el tema.
Amazon ha defendido su tecnología y ha achacado los decepcionantes resultados a una mala calibración de su algoritmo. Sin embargo, para hacer las pruebas, ACLU utilizó el algoritmo a través de AWS tal y como Amazon lo ofrece, y de hecho, incurrió en un coste total de 12.33 dólares. Según la compañía, el nivel de confianza recomendado para el uso del algoritmo en el caso de utilizarlo para identificación facial es del 95%, mientras que ACLU utilizó un nivel del 80%, según ellos más adecuado para identificar objetos. De una manera o de otra, el efecto de demostración ha funcionando, y el escrutinio sobre el uso de Rekognition o de otras tecnologías similares será seguramente mayor a partir de ahora, o incluso servirá para que otras compañías, como Microsoft, afirmen ser superiores en ese sentido.
Sin duda, un verdadero punto para ACLU a la hora de demostrar la importancia de que la sociedad cuente con asociaciones que defiendan adecuadamente los derechos civiles. La reflexión sobre el uso de tecnologías como la de reconocimiento facial es sumamente importante, y define, en muchos sentidos, el tipo de sociedad en el que queremos vivir. La decisión, obviamente, no es tan sencilla como “adopción o no adopción”: toda tecnología que se considere madura no puede ser sencillamente ignorada o relegada sin más, y menos aún en el caso de una tecnología que tiende, dado su funcionamiento, a mejorar en función del uso, a medida que sus algoritmos se enfrentan a más y más casos. Podemos considerar que la tecnología no está aún madura para su uso por parte de autoridades públicas y que, en caso de ser utilizada, podría generar desigualdades y errores potencialmente discriminatorios, pero esa discusión no es siquiera la que de verdad vale la pena, porque existen pocas dudas acerca del potencial de la tecnología para funcionar bien o hacerlo dentro de unos límites de confianza razonables. La verdadera discusión interesante viene después, cuando la tecnología ya funcione: ¿para qué la vamos a utilizar? ¿En qué circunstancias? y sobre todo… ¿a qué tipo de sociedad nos aboca?
Fuente
Compartir esto: