La protección de datos individuales no es suficiente cuando los daños son colectivos
Cada persona involucrada con el mundo en red crea constantemente ríos de datos. Hacemos esto de formas que conocemos y de formas en las que no. Las corporaciones están ansiosas por aprovecharlo.
Tomemos, por ejemplo, NumberEight, una startup que, según Wired, “ayuda a las aplicaciones a inferir la actividad del usuario en función de los datos de los sensores de un teléfono inteligente: ya sea que estén corriendo o sentados, cerca de un parque o museo, conduciendo o viajando en tren.” Los nuevos servicios basados en dicha tecnología “combinarán lo que saben sobre la actividad de un usuario en sus propias aplicaciones con información sobre lo que están haciendo físicamente en ese momento”. Con esta información, “en lugar de crear un perfil para dirigirse, digamos, a mujeres mayores de 35 años, un servicio podría dirigir anuncios a ‘madrugadores’.
Tales ambiciones están muy extendidas. Como lo expresa este reciente artículo de Harvard Business Review, “La mayoría de los directores ejecutivos reconocen que la inteligencia artificial tiene el potencial de cambiar completamente la forma en que funcionan las organizaciones. Pueden imaginar un futuro en el que, por ejemplo, los minoristas entreguen productos individualizados antes de que los clientes los soliciten, tal vez el mismo día en que se fabrican esos productos. A medida que las corporaciones utilicen la IA en dominios cada vez más distintos, el artículo predice que “sus capacidades de IA se agravarán rápidamente y descubrirán que el futuro que imaginaron está en realidad más cerca de lo que parecía”.
Incluso hoy, y mucho menos en un futuro así, la tecnología puede acabar con la privacidad por completo. Elaborar leyes y políticas para evitar que lo haga es una tarea vital para los gobiernos, ya que la administración de Biden y el Congreso contemplan la legislación federal sobre privacidad, no deben sucumbir a una falacia común. Las leyes que protegen la privacidad de los datos de las personas no solo tratan de proteger a las personas. También se trata de proteger nuestros derechos como miembros de grupos, como parte de la sociedad en su conjunto.
El daño a cualquier individuo de un grupo que resulta de una violación de los derechos de privacidad puede ser relativamente pequeño o difícil de precisar, pero el daño al grupo en su conjunto puede ser profundo. Digamos que Amazon usa sus datos sobre el comportamiento del consumidor para determinar qué productos vale la pena copiar y luego socava a los fabricantes de los productos que vende, como zapatos o bolsos para cámaras. Aunque el daño inmediato es para el zapatero o el fabricante de bolsos para cámaras, el daño a largo plazo, y en última instancia más duradero, es para los consumidores, a quienes se les roba a largo plazo las opciones que se obtienen al realizar transacciones de una manera verdaderamente abierta y equitativa. Y mientras que el zapatero o el fabricante de bolsos para cámaras pueden intentar emprender acciones legales, es mucho más difícil para los consumidores demostrar cómo las prácticas de Amazon los perjudican.
Este puede ser un concepto difícil de entender. Las demandas colectivas, en las que muchas personas se unen a pesar de que cada una pudo haber sufrido solo un pequeño daño, son una buena analogía conceptual. Las grandes empresas de tecnología comprenden los beneficios comerciales que pueden derivar del análisis de los datos de los grupos y, al mismo tiempo, protegen superficialmente los datos de las personas mediante técnicas matemáticas como la privacidad diferencial. Pero los reguladores continúan enfocándose en proteger a las personas o, en el mejor de los casos, a clases protegidas como personas de géneros, edades, etnias u orientaciones sexuales particulares.
Si un algoritmo discrimina a las personas clasificándolas en grupos que no pertenecen a estas clases protegidas, las leyes contra la discriminación no se aplican en los Estados Unidos. (Las técnicas de creación de perfiles como las que utiliza Facebook para ayudar a los modelos de aprendizaje automático a clasificar a los usuarios son probablemente ilegales según las leyes de protección de datos de la Unión Europea, pero esto aún no se ha litigado). Muchas personas ni siquiera sabrán que fueron perfiladas o discriminadas, lo que hace que es difícil emprender acciones legales. Ya no sienten la injusticia, la injusticia, de primera mano, y eso ha sido históricamente una condición previa para presentar una demanda.
Las personas no deberían tener que luchar por sus derechos de privacidad de datos y ser responsables de todas las consecuencias de sus acciones digitales. Considere una analogía: las personas tienen derecho al agua potable, pero no se les insta a ejercer ese derecho comprobando la calidad del agua con una pipeta cada vez que beben en el grifo. En cambio, las agencias reguladoras actúan en nombre de todos para garantizar que toda nuestra agua sea segura. Se debe hacer lo mismo con la privacidad digital: no es algo que el usuario promedio sea, o se deba esperar que sea, personalmente competente para proteger.
Hay dos enfoques paralelos que deben aplicarse para proteger al público.
Una es un mejor uso de las acciones de clase o de grupo, también conocidas como acciones de reparación colectiva. Históricamente, estos han sido limitados en Europa, pero en noviembre de 2020 el parlamento europeo aprobó una medida que requiere que los 27 estados miembros de la UE implementen medidas que permitan acciones de reparación colectiva en toda la región. En comparación con los EE. UU., la UE tiene leyes más estrictas que protegen los datos de los consumidores y promueven la competencia, por lo que las demandas colectivas o colectivas en Europa pueden ser una herramienta poderosa para que los abogados y activistas obliguen a las grandes empresas de tecnología a cambiar su comportamiento incluso en los casos en que el per- los daños personales serían muy bajos.
Las demandas colectivas se han utilizado con mayor frecuencia en los EE. UU. Para buscar daños financieros, pero también pueden usarse para forzar cambios en la política y la práctica. Pueden trabajar de la mano con campañas para cambiar la opinión pública, especialmente en casos de consumidores (por ejemplo, obligando a las grandes tabacaleras a admitir el vínculo entre fumar y cáncer, o allanando el camino para las leyes sobre el uso del cinturón de seguridad). Son herramientas poderosas cuando hay miles, si no millones, de daños individuales similares, que se suman para ayudar a probar la causalidad. Parte del problema es, en primer lugar, obtener la información correcta para demandar. Esfuerzos gubernamentales, como una demanda presentada contra Facebook en diciembre por la Comisión Federal de Comercio (FTC) y un grupo de 46 estados, son cruciales. Como dice el periodista de tecnología Gilad Edelman, “De acuerdo con las demandas, la erosión de la privacidad del usuario a lo largo del tiempo es una forma de daño al consumidor (una red social que protege menos los datos de los usuarios es un producto inferior) que inclina a Facebook de un mero monopolio a uno ilegal”. En los EE. UU., como informó recientemente el New York Times, las demandas privadas, incluidas las acciones colectivas, a menudo “se basan en pruebas descubiertas por las investigaciones del gobierno”. En la UE, sin embargo, es al revés: las demandas privadas pueden abrir la posibilidad de una acción reguladora, que está limitada por la brecha entre las leyes de la UE y los reguladores nacionales.
Lo que nos lleva al segundo enfoque: una ley francesa de 2016 poco conocida llamada Digital Republic Bill. El Proyecto de Ley de la República Digital es una de las pocas leyes modernas centradas en la toma de decisiones automatizada. La ley actualmente se aplica solo a las decisiones administrativas tomadas por sistemas algorítmicos del sector público. Pero proporciona un esbozo de cómo podrían ser las leyes futuras. Dice que el código fuente detrás de tales sistemas debe estar disponible para el público. Cualquiera puede solicitar ese código.
Es importante destacar que la ley permite a las organizaciones de defensa solicitar información sobre el funcionamiento de un algoritmo y el código fuente detrás de él, incluso si no representan a un individuo o reclamante específico que supuestamente está dañado. La necesidad de encontrar un “demandante perfecto” que pueda probar el daño para presentar una demanda hace que sea muy difícil abordar los problemas sistémicos que causan daños a los datos colectivos. Laure Lucchesi, directora de Etalab, una oficina del gobierno francés a cargo de supervisar el proyecto de ley, dice que el enfoque de la ley en la responsabilidad algorítmica se adelantó a su tiempo. Otras leyes, como el Reglamento general europeo de protección de datos (GDPR), se centran demasiado en el consentimiento y la privacidad individuales. Pero tanto los datos como los algoritmos deben regularse.
Apple promete en un anuncio: “En este momento, hay más información privada en su teléfono que en su hogar. Tus ubicaciones, tus mensajes, tu frecuencia cardíaca después de una carrera. Son cosas privadas. Y deberían pertenecerle”. Apple está reforzando la falacia de este individualista: al no mencionar que su teléfono almacena más que solo sus datos personales, la compañía oculta el hecho de que los datos realmente valiosos provienen de sus interacciones con sus proveedores de servicios y otros. La noción de que su teléfono es el equivalente digital de su archivador es una ilusión conveniente. En realidad, las empresas se preocupan poco por sus datos personales; por eso pueden fingir que lo guardan en una caja. El valor radica en las inferencias extraídas de sus interacciones, que también se almacenan en su teléfono, pero esos datos no le pertenecen.
La adquisición de Fitbit por parte de Google es otro ejemplo. Google promete “no utilizar los datos de Fitbit para publicidad”, pero las lucrativas predicciones que necesita Google no dependen de los datos individuales. Com.o argumenta un grupo de economistas europeos en un artículo reciente publicado por el Centro de Investigación de Políticas Económicas, un grupo de expertos en Londres, “es suficiente que Google correlacione los resultados de salud agregados con los resultados no relacionados con la salud incluso para un subconjunto de usuarios de Fitbit que no optaron por cierto uso del uso de sus datos, para luego predecir los resultados de salud (y, por lo tanto, las posibilidades de orientación de anuncios) para todos los usuarios que no son de Fitbit (miles de millones de ellos) “. El trato entre Google y Fitbit es esencialmente un trato de datos grupales. Posiciona a Google en un mercado clave para los datos de salud al tiempo que le permite triangular diferentes conjuntos de datos y ganar dinero con las inferencias utilizadas por los mercados de salud y seguros.
Qué deben hacer los legisladores
Los proyectos de ley han buscado llenar este vacío en los Estados Unidos. En 2019, los senadores Cory Booker y Ron Wyden presentaron una Ley de Responsabilidad Algorítmica, que posteriormente se estancó en el Congreso. La ley habría requerido que las empresas llevaran a cabo evaluaciones de impacto algorítmicas en ciertas situaciones para verificar si hay sesgos o discriminación. Pero en los EE. UU. Es más probable que este tema crucial se aborde primero en las leyes que se aplican a sectores específicos como la atención médica, donde el peligro de sesgo algorítmico se ha magnificado por los impactos dispares de la pandemia en los grupos de población de EE. UU.
A finales de enero, los senadores Mark Warner y Richard Blumenthal reintrodujeron la Ley de Privacidad de Emergencia de Salud Pública en el Senado y la Cámara de Representantes. Esta ley garantizaría que los datos recopilados con fines de salud pública no se utilicen para ningún otro propósito. Prohibiría el uso de datos de salud con fines discriminatorios, no relacionados o intrusivos, incluida la publicidad comercial, el comercio electrónico o los esfuerzos para controlar el acceso al empleo, las finanzas, los seguros, la vivienda o la educación. Este sería un gran comienzo. Yendo más allá, una ley que se aplique a toda la toma de decisiones algorítmicas debería, inspirada en el ejemplo francés, centrarse en la responsabilidad estricta, la supervisión reglamentaria sólida de la toma de decisiones basada en datos y la capacidad de auditar e inspeccionar las decisiones algorítmicas y su impacto en la sociedad.
Se necesitan tres elementos para garantizar una responsabilidad estricta: (1) transparencia clara sobre dónde y cuándo se toman las decisiones automatizadas y cómo afectan a las personas y grupos, (2) el derecho del público a ofrecer aportes significativos y pedir a las autoridades que justifiquen sus decisiones y (3) la capacidad de hacer cumplir las sanciones. Fundamentalmente, los responsables de la formulación de políticas deberán decidir, como se ha sugerido recientemente en la UE, qué constituye un algoritmo de “alto riesgo” que debe cumplir con un estándar de escrutinio más alto.
Transparencia clara
La atención debe centrarse en el escrutinio público de la toma de decisiones automatizada y los tipos de transparencia que conducen a la rendición de cuentas. Esto incluye revelar la existencia de algoritmos, su propósito y los datos de entrenamiento detrás de ellos, así como sus impactos, si han llevado a resultados dispares y en qué grupos, de ser así.
Participación pública
El público tiene el derecho fundamental de pedir a los que están en el poder que justifiquen sus decisiones. Este “derecho a exigir respuestas” no debe limitarse a la participación consultiva, donde se pide a la gente su opinión y los funcionarios avanzan. Debe incluir una participación empoderada, donde la participación del público es obligatoria antes de la implementación de algoritmos de alto riesgo tanto en el sector público como en el privado.
Sanciones
Finalmente, el poder de sancionar es clave para que estas reformas tengan éxito y para que se logre la rendición de cuentas. Debería ser obligatorio establecer requisitos de auditoría para la focalización, verificación y curación de datos, para equipar a los auditores con este conocimiento básico y para facultar a los órganos de supervisión para hacer cumplir las sanciones, no solo para reparar el daño después del hecho, sino para prevenirlo.
La protección de datos individuales no es suficiente cuando los daños son colectivos
Cada persona involucrada con el mundo en red crea constantemente ríos de datos. Hacemos esto de formas que conocemos y de formas en las que no. Las corporaciones están ansiosas por aprovecharlo.
Tomemos, por ejemplo, NumberEight, una startup que, según Wired, “ayuda a las aplicaciones a inferir la actividad del usuario en función de los datos de los sensores de un teléfono inteligente: ya sea que estén corriendo o sentados, cerca de un parque o museo, conduciendo o viajando en tren.” Los nuevos servicios basados en dicha tecnología “combinarán lo que saben sobre la actividad de un usuario en sus propias aplicaciones con información sobre lo que están haciendo físicamente en ese momento”. Con esta información, “en lugar de crear un perfil para dirigirse, digamos, a mujeres mayores de 35 años, un servicio podría dirigir anuncios a ‘madrugadores’.
Tales ambiciones están muy extendidas. Como lo expresa este reciente artículo de Harvard Business Review, “La mayoría de los directores ejecutivos reconocen que la inteligencia artificial tiene el potencial de cambiar completamente la forma en que funcionan las organizaciones. Pueden imaginar un futuro en el que, por ejemplo, los minoristas entreguen productos individualizados antes de que los clientes los soliciten, tal vez el mismo día en que se fabrican esos productos. A medida que las corporaciones utilicen la IA en dominios cada vez más distintos, el artículo predice que “sus capacidades de IA se agravarán rápidamente y descubrirán que el futuro que imaginaron está en realidad más cerca de lo que parecía”.
Incluso hoy, y mucho menos en un futuro así, la tecnología puede acabar con la privacidad por completo. Elaborar leyes y políticas para evitar que lo haga es una tarea vital para los gobiernos, ya que la administración de Biden y el Congreso contemplan la legislación federal sobre privacidad, no deben sucumbir a una falacia común. Las leyes que protegen la privacidad de los datos de las personas no solo tratan de proteger a las personas. También se trata de proteger nuestros derechos como miembros de grupos, como parte de la sociedad en su conjunto.
El daño a cualquier individuo de un grupo que resulta de una violación de los derechos de privacidad puede ser relativamente pequeño o difícil de precisar, pero el daño al grupo en su conjunto puede ser profundo. Digamos que Amazon usa sus datos sobre el comportamiento del consumidor para determinar qué productos vale la pena copiar y luego socava a los fabricantes de los productos que vende, como zapatos o bolsos para cámaras. Aunque el daño inmediato es para el zapatero o el fabricante de bolsos para cámaras, el daño a largo plazo, y en última instancia más duradero, es para los consumidores, a quienes se les roba a largo plazo las opciones que se obtienen al realizar transacciones de una manera verdaderamente abierta y equitativa. Y mientras que el zapatero o el fabricante de bolsos para cámaras pueden intentar emprender acciones legales, es mucho más difícil para los consumidores demostrar cómo las prácticas de Amazon los perjudican.
Este puede ser un concepto difícil de entender. Las demandas colectivas, en las que muchas personas se unen a pesar de que cada una pudo haber sufrido solo un pequeño daño, son una buena analogía conceptual. Las grandes empresas de tecnología comprenden los beneficios comerciales que pueden derivar del análisis de los datos de los grupos y, al mismo tiempo, protegen superficialmente los datos de las personas mediante técnicas matemáticas como la privacidad diferencial. Pero los reguladores continúan enfocándose en proteger a las personas o, en el mejor de los casos, a clases protegidas como personas de géneros, edades, etnias u orientaciones sexuales particulares.
Si un algoritmo discrimina a las personas clasificándolas en grupos que no pertenecen a estas clases protegidas, las leyes contra la discriminación no se aplican en los Estados Unidos. (Las técnicas de creación de perfiles como las que utiliza Facebook para ayudar a los modelos de aprendizaje automático a clasificar a los usuarios son probablemente ilegales según las leyes de protección de datos de la Unión Europea, pero esto aún no se ha litigado). Muchas personas ni siquiera sabrán que fueron perfiladas o discriminadas, lo que hace que es difícil emprender acciones legales. Ya no sienten la injusticia, la injusticia, de primera mano, y eso ha sido históricamente una condición previa para presentar una demanda.
Las personas no deberían tener que luchar por sus derechos de privacidad de datos y ser responsables de todas las consecuencias de sus acciones digitales. Considere una analogía: las personas tienen derecho al agua potable, pero no se les insta a ejercer ese derecho comprobando la calidad del agua con una pipeta cada vez que beben en el grifo. En cambio, las agencias reguladoras actúan en nombre de todos para garantizar que toda nuestra agua sea segura. Se debe hacer lo mismo con la privacidad digital: no es algo que el usuario promedio sea, o se deba esperar que sea, personalmente competente para proteger.
Hay dos enfoques paralelos que deben aplicarse para proteger al público.
Una es un mejor uso de las acciones de clase o de grupo, también conocidas como acciones de reparación colectiva. Históricamente, estos han sido limitados en Europa, pero en noviembre de 2020 el parlamento europeo aprobó una medida que requiere que los 27 estados miembros de la UE implementen medidas que permitan acciones de reparación colectiva en toda la región. En comparación con los EE. UU., la UE tiene leyes más estrictas que protegen los datos de los consumidores y promueven la competencia, por lo que las demandas colectivas o colectivas en Europa pueden ser una herramienta poderosa para que los abogados y activistas obliguen a las grandes empresas de tecnología a cambiar su comportamiento incluso en los casos en que el per- los daños personales serían muy bajos.
Las demandas colectivas se han utilizado con mayor frecuencia en los EE. UU. Para buscar daños financieros, pero también pueden usarse para forzar cambios en la política y la práctica. Pueden trabajar de la mano con campañas para cambiar la opinión pública, especialmente en casos de consumidores (por ejemplo, obligando a las grandes tabacaleras a admitir el vínculo entre fumar y cáncer, o allanando el camino para las leyes sobre el uso del cinturón de seguridad). Son herramientas poderosas cuando hay miles, si no millones, de daños individuales similares, que se suman para ayudar a probar la causalidad. Parte del problema es, en primer lugar, obtener la información correcta para demandar. Esfuerzos gubernamentales, como una demanda presentada contra Facebook en diciembre por la Comisión Federal de Comercio (FTC) y un grupo de 46 estados, son cruciales. Como dice el periodista de tecnología Gilad Edelman, “De acuerdo con las demandas, la erosión de la privacidad del usuario a lo largo del tiempo es una forma de daño al consumidor (una red social que protege menos los datos de los usuarios es un producto inferior) que inclina a Facebook de un mero monopolio a uno ilegal”. En los EE. UU., como informó recientemente el New York Times, las demandas privadas, incluidas las acciones colectivas, a menudo “se basan en pruebas descubiertas por las investigaciones del gobierno”. En la UE, sin embargo, es al revés: las demandas privadas pueden abrir la posibilidad de una acción reguladora, que está limitada por la brecha entre las leyes de la UE y los reguladores nacionales.
Lo que nos lleva al segundo enfoque: una ley francesa de 2016 poco conocida llamada Digital Republic Bill. El Proyecto de Ley de la República Digital es una de las pocas leyes modernas centradas en la toma de decisiones automatizada. La ley actualmente se aplica solo a las decisiones administrativas tomadas por sistemas algorítmicos del sector público. Pero proporciona un esbozo de cómo podrían ser las leyes futuras. Dice que el código fuente detrás de tales sistemas debe estar disponible para el público. Cualquiera puede solicitar ese código.
Es importante destacar que la ley permite a las organizaciones de defensa solicitar información sobre el funcionamiento de un algoritmo y el código fuente detrás de él, incluso si no representan a un individuo o reclamante específico que supuestamente está dañado. La necesidad de encontrar un “demandante perfecto” que pueda probar el daño para presentar una demanda hace que sea muy difícil abordar los problemas sistémicos que causan daños a los datos colectivos. Laure Lucchesi, directora de Etalab, una oficina del gobierno francés a cargo de supervisar el proyecto de ley, dice que el enfoque de la ley en la responsabilidad algorítmica se adelantó a su tiempo. Otras leyes, como el Reglamento general europeo de protección de datos (GDPR), se centran demasiado en el consentimiento y la privacidad individuales. Pero tanto los datos como los algoritmos deben regularse.
Apple promete en un anuncio: “En este momento, hay más información privada en su teléfono que en su hogar. Tus ubicaciones, tus mensajes, tu frecuencia cardíaca después de una carrera. Son cosas privadas. Y deberían pertenecerle”. Apple está reforzando la falacia de este individualista: al no mencionar que su teléfono almacena más que solo sus datos personales, la compañía oculta el hecho de que los datos realmente valiosos provienen de sus interacciones con sus proveedores de servicios y otros. La noción de que su teléfono es el equivalente digital de su archivador es una ilusión conveniente. En realidad, las empresas se preocupan poco por sus datos personales; por eso pueden fingir que lo guardan en una caja. El valor radica en las inferencias extraídas de sus interacciones, que también se almacenan en su teléfono, pero esos datos no le pertenecen.
La adquisición de Fitbit por parte de Google es otro ejemplo. Google promete “no utilizar los datos de Fitbit para publicidad”, pero las lucrativas predicciones que necesita Google no dependen de los datos individuales. Com.o argumenta un grupo de economistas europeos en un artículo reciente publicado por el Centro de Investigación de Políticas Económicas, un grupo de expertos en Londres, “es suficiente que Google correlacione los resultados de salud agregados con los resultados no relacionados con la salud incluso para un subconjunto de usuarios de Fitbit que no optaron por cierto uso del uso de sus datos, para luego predecir los resultados de salud (y, por lo tanto, las posibilidades de orientación de anuncios) para todos los usuarios que no son de Fitbit (miles de millones de ellos) “. El trato entre Google y Fitbit es esencialmente un trato de datos grupales. Posiciona a Google en un mercado clave para los datos de salud al tiempo que le permite triangular diferentes conjuntos de datos y ganar dinero con las inferencias utilizadas por los mercados de salud y seguros.
Qué deben hacer los legisladores
Los proyectos de ley han buscado llenar este vacío en los Estados Unidos. En 2019, los senadores Cory Booker y Ron Wyden presentaron una Ley de Responsabilidad Algorítmica, que posteriormente se estancó en el Congreso. La ley habría requerido que las empresas llevaran a cabo evaluaciones de impacto algorítmicas en ciertas situaciones para verificar si hay sesgos o discriminación. Pero en los EE. UU. Es más probable que este tema crucial se aborde primero en las leyes que se aplican a sectores específicos como la atención médica, donde el peligro de sesgo algorítmico se ha magnificado por los impactos dispares de la pandemia en los grupos de población de EE. UU.
A finales de enero, los senadores Mark Warner y Richard Blumenthal reintrodujeron la Ley de Privacidad de Emergencia de Salud Pública en el Senado y la Cámara de Representantes. Esta ley garantizaría que los datos recopilados con fines de salud pública no se utilicen para ningún otro propósito. Prohibiría el uso de datos de salud con fines discriminatorios, no relacionados o intrusivos, incluida la publicidad comercial, el comercio electrónico o los esfuerzos para controlar el acceso al empleo, las finanzas, los seguros, la vivienda o la educación. Este sería un gran comienzo. Yendo más allá, una ley que se aplique a toda la toma de decisiones algorítmicas debería, inspirada en el ejemplo francés, centrarse en la responsabilidad estricta, la supervisión reglamentaria sólida de la toma de decisiones basada en datos y la capacidad de auditar e inspeccionar las decisiones algorítmicas y su impacto en la sociedad.
Se necesitan tres elementos para garantizar una responsabilidad estricta: (1) transparencia clara sobre dónde y cuándo se toman las decisiones automatizadas y cómo afectan a las personas y grupos, (2) el derecho del público a ofrecer aportes significativos y pedir a las autoridades que justifiquen sus decisiones y (3) la capacidad de hacer cumplir las sanciones. Fundamentalmente, los responsables de la formulación de políticas deberán decidir, como se ha sugerido recientemente en la UE, qué constituye un algoritmo de “alto riesgo” que debe cumplir con un estándar de escrutinio más alto.
Transparencia clara
La atención debe centrarse en el escrutinio público de la toma de decisiones automatizada y los tipos de transparencia que conducen a la rendición de cuentas. Esto incluye revelar la existencia de algoritmos, su propósito y los datos de entrenamiento detrás de ellos, así como sus impactos, si han llevado a resultados dispares y en qué grupos, de ser así.
Participación pública
El público tiene el derecho fundamental de pedir a los que están en el poder que justifiquen sus decisiones. Este “derecho a exigir respuestas” no debe limitarse a la participación consultiva, donde se pide a la gente su opinión y los funcionarios avanzan. Debe incluir una participación empoderada, donde la participación del público es obligatoria antes de la implementación de algoritmos de alto riesgo tanto en el sector público como en el privado.
Sanciones
Finalmente, el poder de sancionar es clave para que estas reformas tengan éxito y para que se logre la rendición de cuentas. Debería ser obligatorio establecer requisitos de auditoría para la focalización, verificación y curación de datos, para equipar a los auditores con este conocimiento básico y para facultar a los órganos de supervisión para hacer cumplir las sanciones, no solo para reparar el daño después del hecho, sino para prevenirlo.
Via
Compartir esto: