Subir fotos personales a internet puede parecer como dejarse llevar. ¿Quién más tendrá acceso a ellas?, ¿Qué harán con ellas? Y ¿quizá esas fotos ayuden a entrenar algún algoritmo de aprendizaje automático?
La empresa Clearview ya ha proporcionado a algunos cuerpos policiales de EE. UU. una herramienta de reconocimiento facial entrenada con las fotos de millones de personas extraídas de la web. Pero eso, probablemente, solo fue el inicio. Cualquier persona con habilidades básicas de programación ya puede desarrollar un software de reconocimiento facial, lo que significa que hay más posibilidades que nunca de abusar de esta tecnología para casi todo, desde el acoso sexual y la discriminación racial hasta la opresión política y la persecución religiosa.
Varios investigadores de la inteligencia artificial (IA) están dando un paso atrás y desarrollando formas de asegurarse de que las IA no puedan aprender de los datos personales. Hace unos días se presentaron dos de las últimas ideas relacionadas con esto en ICLR, la conferencia líder en inteligencia artificial.
“No me gusta que la gente coja cosas mías que se supone que no deberían tener”, dice la investigadora de la Universidad de Chicago (EE. UU.) Emily Wenger, quien junto con sus colegas desarrolló el verano pasado una de las primeras herramientas de este tipo, llamada Fawkes: “Me imagino que muchos de nosotros tuvimos una idea similar al mismo tiempo”.
‘Envenenar’ los datos no es algo nuevo. Eliminar los que las empresas tienen sobre nosotros o contaminar los conjuntos con ejemplos falsos puede dificultar que las empresas entrenen sus modelos tan precisos de aprendizaje automático. Pero estos esfuerzos generalmente requieren una acción colectiva, con la participación de cientos o miles de personas, para conseguir un impacto. La diferencia con estas nuevas técnicas es que funcionan con las fotos de una sola persona.
“Una persona puede utilizar esta tecnología como una clave para bloquear sus datos”, explica el investigador de la Universidad Deakin en Australia Daniel Ma. “Es una nueva defensa de primera línea para proteger los derechos digitales de las personas en la era de la IA”.
Ocultos a plena vista
La mayoría de las herramientas, incluida Fawkes, tienen el mismo enfoque básico. Realizan pequeños cambios en una imagen que son difíciles de detectar con el ojo humano, pero confunden a una IA, lo que hace que el modelo identifique erróneamente a quién o qué ve en esa foto. Esta técnica es muy parecida a una especie de ataque antagónico, donde pequeñas alteraciones en los datos de entrada pueden obligar a los modelos de aprendizaje profundo a cometer grandes errores.
Si a Fawkes se le dan un montón de selfis, añadirá alteraciones en forma de píxeles a las imágenes que impiden que los sistemas de reconocimiento facial de última generación identifiquen quién está en las fotos. A diferencia de formas anteriores de realizar esto, como modificar el color facial para confundir a la IA, Fawkes deja las imágenes aparentemente sin cambios para los humanos.
Wenger y sus colegas probaron su herramienta contra varios sistemas comerciales de reconocimiento facial ampliamente utilizados, incluidos AWS Rekognition de Amazon, Microsoft Azure y Face ++, desarrollado por la empresa china Megvii Technology. En un pequeño experimento con un conjunto de datos de 50 imágenes, Fawkes fue 100 % efectivo contra todos ellos y evitó que los modelos entrenados con imágenes modificadas de personas reconocieran más tarde los rostros de esas personas en otras imágenes nuevas. Las fotos de entrenamiento manipuladas habían impedido que las herramientas formaran una representación precisa de los rostros de esas personas.
Fawkes ya se ha descargado casi medio millón de veces desde el sitio web del proyecto. Un usuario también ha creado una versión online, lo que facilita aún más su uso. Sin embargo, Wenger no se responsabiliza por el uso del código por parte de terceros; advierte que “no se sabe qué está pasando con los datos mientras esa persona los procesa” y afirma que todavía no existe una app para el teléfono, pero nada impide que alguien haga una.
Fawkes puede evitar que un nuevo sistema de reconocimiento facial nos reconozca, como, por ejemplo, el próximo Clearview, pero no saboteará los sistemas existentes que ya han sido entrenados con nuestras imágenes desprotegidas. No obstante, la tecnología está mejorando continuamente. Wenger cree que una herramienta desarrollada por la investigadora de la Universidad de Maryland (EE. UU.) Valeriia Cherepanova y sus colegas, uno de los equipos de ICLR, podría abordar este problema.
La herramienta LowKey amplía el alcance de Fawkes, porque aplica alteraciones a las imágenes basadas en un tipo de ataque antagónico más fuerte, que también engaña a los modelos comerciales previamente entrenados. Al igual que Fawkes, LowKey también está disponible online.
Ma y sus colegas han añadido algo más. Su enfoque, que convierte las imágenes en lo que ellos llaman ejemplos que no se pueden aprender, hace que una IA ignore por completo esos selfis. Wenger afirma: “Creo que es genial. Fawkes entrena a un modelo para que aprenda algo equivocado, y esta herramienta entrena a un modelo a que no aprenda nada“.
A diferencia de Fawkes y otros métodos parecidos, los ejemplos que no se pueden aprender no se basan en los ataques antagónicos. En vez de introducir cambios en una imagen que obligan a una IA a cometer un error, el equipo de Ma realiza pequeñas modificaciones que engañan a una IA para que ignore esa imagen durante el entrenamiento. Cuando se le presente esa misma imagen más tarde, su evaluación de lo que contiene no será mejor que una suposición aleatoria.
Los ejemplos que no se pueden aprender podrían resultar más efectivos que los ataques antagónicos, ya que los modelos no se pueden entrenar con ellos. Cuantos más ejemplos antagónicos ve una IA, mejor los reconoce. Pero como Ma y sus colegas impiden que una IA se entrene con esas imágenes para empezar, afirman que esto no sucederá con los ejemplos que no se pueden aprender.
Sin embargo, Wenger se ha resignado a una batalla continua. Su equipo ha notado recientemente que el servicio de reconocimiento facial de Microsoft Azure ya no se dejaba engañar por algunas de sus imágenes. Wenger asegura: “De repente, de alguna forma se volvió resistente a las imágenes modificadas que habíamos generado. No sabemos qué pasó”.
Es posible que Microsoft haya cambiado su algoritmo, o que la IA simplemente haya visto tantas imágenes de personas que usaban Fawkes que aprendió a reconocerlas. Sea como sea, el equipo de Wenger lanzó hace unos días una actualización de su herramienta, que funciona de nuevo contra Azure. “Es otro juego del gato y el ratón”, señala Wenger, para quien se trata de la historia de internet: “Las empresas como Clearview están capitalizando lo que perciben como datos disponibles gratuitamente y los utilizan para hacer lo que quieren”.
La regulación podría ayudar a largo plazo, pero eso no evitará que las empresas exploten las lagunas. “Siempre habrá un hueco entre lo que es legalmente aceptable y lo que la gente realmente quiere. “Las herramientas como Fawkes llenan ese vacío”, sostiene Wenger, que concluye: “Démosle a la gente algo de poder que antes no tenían”.
We use cookies on our website to give you the most relevant experience by remembering your preferences and repeat visits. By clicking “Accept All”, you consent to the use of ALL the cookies. However, you may visit "Cookie Settings" to provide a controlled consent.
This website uses cookies to improve your experience while you navigate through the website. Out of these, the cookies that are categorized as necessary are stored on your browser as they are essential for the working of basic functionalities of the website. We also use third-party cookies that help us analyze and understand how you use this website. These cookies will be stored in your browser only with your consent. You also have the option to opt-out of these cookies. But opting out of some of these cookies may affect your browsing experience.
Necessary cookies are absolutely essential for the website to function properly. These cookies ensure basic functionalities and security features of the website, anonymously.
Cookie
Duración
Descripción
cookielawinfo-checkbox-analytics
11 months
This cookie is set by GDPR Cookie Consent plugin. The cookie is used to store the user consent for the cookies in the category "Analytics".
cookielawinfo-checkbox-functional
11 months
The cookie is set by GDPR cookie consent to record the user consent for the cookies in the category "Functional".
cookielawinfo-checkbox-necessary
11 months
This cookie is set by GDPR Cookie Consent plugin. The cookies is used to store the user consent for the cookies in the category "Necessary".
cookielawinfo-checkbox-others
11 months
This cookie is set by GDPR Cookie Consent plugin. The cookie is used to store the user consent for the cookies in the category "Other.
cookielawinfo-checkbox-performance
11 months
This cookie is set by GDPR Cookie Consent plugin. The cookie is used to store the user consent for the cookies in the category "Performance".
viewed_cookie_policy
11 months
The cookie is set by the GDPR Cookie Consent plugin and is used to store whether or not user has consented to the use of cookies. It does not store any personal data.
Functional cookies help to perform certain functionalities like sharing the content of the website on social media platforms, collect feedbacks, and other third-party features.
Performance cookies are used to understand and analyze the key performance indexes of the website which helps in delivering a better user experience for the visitors.
Analytical cookies are used to understand how visitors interact with the website. These cookies help provide information on metrics the number of visitors, bounce rate, traffic source, etc.
Advertisement cookies are used to provide visitors with relevant ads and marketing campaigns. These cookies track visitors across websites and collect information to provide customized ads.
Subir fotos personales a internet puede parecer como dejarse llevar. ¿Quién más tendrá acceso a ellas?, ¿Qué harán con ellas? Y ¿quizá esas fotos ayuden a entrenar algún algoritmo de aprendizaje automático?
La empresa Clearview ya ha proporcionado a algunos cuerpos policiales de EE. UU. una herramienta de reconocimiento facial entrenada con las fotos de millones de personas extraídas de la web. Pero eso, probablemente, solo fue el inicio. Cualquier persona con habilidades básicas de programación ya puede desarrollar un software de reconocimiento facial, lo que significa que hay más posibilidades que nunca de abusar de esta tecnología para casi todo, desde el acoso sexual y la discriminación racial hasta la opresión política y la persecución religiosa.
Varios investigadores de la inteligencia artificial (IA) están dando un paso atrás y desarrollando formas de asegurarse de que las IA no puedan aprender de los datos personales. Hace unos días se presentaron dos de las últimas ideas relacionadas con esto en ICLR, la conferencia líder en inteligencia artificial.
“No me gusta que la gente coja cosas mías que se supone que no deberían tener”, dice la investigadora de la Universidad de Chicago (EE. UU.) Emily Wenger, quien junto con sus colegas desarrolló el verano pasado una de las primeras herramientas de este tipo, llamada Fawkes: “Me imagino que muchos de nosotros tuvimos una idea similar al mismo tiempo”.
‘Envenenar’ los datos no es algo nuevo. Eliminar los que las empresas tienen sobre nosotros o contaminar los conjuntos con ejemplos falsos puede dificultar que las empresas entrenen sus modelos tan precisos de aprendizaje automático. Pero estos esfuerzos generalmente requieren una acción colectiva, con la participación de cientos o miles de personas, para conseguir un impacto. La diferencia con estas nuevas técnicas es que funcionan con las fotos de una sola persona.
“Una persona puede utilizar esta tecnología como una clave para bloquear sus datos”, explica el investigador de la Universidad Deakin en Australia Daniel Ma. “Es una nueva defensa de primera línea para proteger los derechos digitales de las personas en la era de la IA”.
Ocultos a plena vista
La mayoría de las herramientas, incluida Fawkes, tienen el mismo enfoque básico. Realizan pequeños cambios en una imagen que son difíciles de detectar con el ojo humano, pero confunden a una IA, lo que hace que el modelo identifique erróneamente a quién o qué ve en esa foto. Esta técnica es muy parecida a una especie de ataque antagónico, donde pequeñas alteraciones en los datos de entrada pueden obligar a los modelos de aprendizaje profundo a cometer grandes errores.
Si a Fawkes se le dan un montón de selfis, añadirá alteraciones en forma de píxeles a las imágenes que impiden que los sistemas de reconocimiento facial de última generación identifiquen quién está en las fotos. A diferencia de formas anteriores de realizar esto, como modificar el color facial para confundir a la IA, Fawkes deja las imágenes aparentemente sin cambios para los humanos.
Wenger y sus colegas probaron su herramienta contra varios sistemas comerciales de reconocimiento facial ampliamente utilizados, incluidos AWS Rekognition de Amazon, Microsoft Azure y Face ++, desarrollado por la empresa china Megvii Technology. En un pequeño experimento con un conjunto de datos de 50 imágenes, Fawkes fue 100 % efectivo contra todos ellos y evitó que los modelos entrenados con imágenes modificadas de personas reconocieran más tarde los rostros de esas personas en otras imágenes nuevas. Las fotos de entrenamiento manipuladas habían impedido que las herramientas formaran una representación precisa de los rostros de esas personas.
Fawkes ya se ha descargado casi medio millón de veces desde el sitio web del proyecto. Un usuario también ha creado una versión online, lo que facilita aún más su uso. Sin embargo, Wenger no se responsabiliza por el uso del código por parte de terceros; advierte que “no se sabe qué está pasando con los datos mientras esa persona los procesa” y afirma que todavía no existe una app para el teléfono, pero nada impide que alguien haga una.
Fawkes puede evitar que un nuevo sistema de reconocimiento facial nos reconozca, como, por ejemplo, el próximo Clearview, pero no saboteará los sistemas existentes que ya han sido entrenados con nuestras imágenes desprotegidas. No obstante, la tecnología está mejorando continuamente. Wenger cree que una herramienta desarrollada por la investigadora de la Universidad de Maryland (EE. UU.) Valeriia Cherepanova y sus colegas, uno de los equipos de ICLR, podría abordar este problema.
La herramienta LowKey amplía el alcance de Fawkes, porque aplica alteraciones a las imágenes basadas en un tipo de ataque antagónico más fuerte, que también engaña a los modelos comerciales previamente entrenados. Al igual que Fawkes, LowKey también está disponible online.
Ma y sus colegas han añadido algo más. Su enfoque, que convierte las imágenes en lo que ellos llaman ejemplos que no se pueden aprender, hace que una IA ignore por completo esos selfis. Wenger afirma: “Creo que es genial. Fawkes entrena a un modelo para que aprenda algo equivocado, y esta herramienta entrena a un modelo a que no aprenda nada“.
A diferencia de Fawkes y otros métodos parecidos, los ejemplos que no se pueden aprender no se basan en los ataques antagónicos. En vez de introducir cambios en una imagen que obligan a una IA a cometer un error, el equipo de Ma realiza pequeñas modificaciones que engañan a una IA para que ignore esa imagen durante el entrenamiento. Cuando se le presente esa misma imagen más tarde, su evaluación de lo que contiene no será mejor que una suposición aleatoria.
Los ejemplos que no se pueden aprender podrían resultar más efectivos que los ataques antagónicos, ya que los modelos no se pueden entrenar con ellos. Cuantos más ejemplos antagónicos ve una IA, mejor los reconoce. Pero como Ma y sus colegas impiden que una IA se entrene con esas imágenes para empezar, afirman que esto no sucederá con los ejemplos que no se pueden aprender.
Sin embargo, Wenger se ha resignado a una batalla continua. Su equipo ha notado recientemente que el servicio de reconocimiento facial de Microsoft Azure ya no se dejaba engañar por algunas de sus imágenes. Wenger asegura: “De repente, de alguna forma se volvió resistente a las imágenes modificadas que habíamos generado. No sabemos qué pasó”.
Es posible que Microsoft haya cambiado su algoritmo, o que la IA simplemente haya visto tantas imágenes de personas que usaban Fawkes que aprendió a reconocerlas. Sea como sea, el equipo de Wenger lanzó hace unos días una actualización de su herramienta, que funciona de nuevo contra Azure. “Es otro juego del gato y el ratón”, señala Wenger, para quien se trata de la historia de internet: “Las empresas como Clearview están capitalizando lo que perciben como datos disponibles gratuitamente y los utilizan para hacer lo que quieren”.
La regulación podría ayudar a largo plazo, pero eso no evitará que las empresas exploten las lagunas. “Siempre habrá un hueco entre lo que es legalmente aceptable y lo que la gente realmente quiere. “Las herramientas como Fawkes llenan ese vacío”, sostiene Wenger, que concluye: “Démosle a la gente algo de poder que antes no tenían”.
Fuente: MIT Technology Review
Compartir esto: