por Lorna McGregor, Daragh Murray y Vivian Ng traducción David Ormeño
Tanto si te das cuenta de ello como si no, los grandes datos pueden afectarte a ti y a cómo vives tu vida. Los datos que creamos cuando utilizamos los medios sociales, navegamos por Internet y usamos rastreadores de fitness son recopilados, categorizados y utilizados por las empresas y el estado para crear perfiles de nosotros. Estos perfiles se utilizan luego para dirigir la publicidad de productos y servicios a las personas más propensas a comprarlos, o para informar las decisiones del gobierno.
Los grandes datos permiten a los estados y a las empresas acceder, combinar y analizar nuestra información y crear perfiles reveladores -pero incompletos y potencialmente inexactos– de nuestras vidas. Lo hacen identificando correlaciones y patrones en los datos sobre nosotros, y personas con perfiles similares a los nuestros, para hacer predicciones sobre lo que podríamos hacer.
Pero el hecho de que los grandes análisis de datos se basen en algoritmos y estadísticas no significa que sean precisos, neutrales u inherentemente objetivos. Y si bien los grandes datos pueden proporcionar información sobre el comportamiento del grupo, éstos no son necesariamente una manera confiable de determinar el comportamiento individual. De hecho, estos métodos pueden abrir la puerta a la discriminación y amenazar los derechos humanos de las personas . Aquí hay cuatro ejemplos en los que el análisis de grandes datos puede llevar a la injusticia.
1. Cálculo de puntajes para crédito
El big data se puede utilizar para tomar decisiones sobre la elegibilidad para crédito, lo que afecta si se le concede una hipoteca, o qué tan altas deben ser sus primas de seguro de automóvil. Estas decisiones pueden ser informadas por sus publicaciones en los medios sociales y datos de otras aplicaciones, los cuales son tomados para indicar su nivel de riesgo o confiabilidad.
Sin embargo, es posible que datos como su formación académica o su lugar de residencia no sean pertinentes o fiables para tales evaluaciones. Este tipo de datos puede actuar como un indicador de raza o estatus socioeconómico, y utilizarlos para tomar decisiones sobre el riesgo crediticio podría resultar en discriminación.
2. Búsqueda de empleo
El big data se puede utilizar para determinar quién ve un anuncio de trabajo o es preseleccionado para una entrevista. Las ofertas de empleo pueden dirigirse a determinados grupos de edad, como los de 25 a 36 años, lo que excluye a los trabajadores más jóvenes y de más edad de la posibilidad de acceder a determinados puestos de trabajo y entraña un riesgo de discriminación por motivos de edad.
La automatización también se utiliza para hacer más eficiente el filtrado, agupando y la clasificando a los candidatos. Pero este proceso de selección puede excluir a las personas sobre la base de indicadores como la distancia de su viaje al trabajo. Los empleadores podrían suponer que las personas que viajan más tiempo al trabajo tienen menos probabilidades de permanecer en un trabajo a largo plazo, pero esto puede discriminar a las personas que viven más lejos del centro de la ciudad debido a la ubicación de viviendas asequibles.
3. Decisiones de libertad condicional y libertad bajo fianza
En los EE.UU. y el Reino Unido, se utilizan grandes modelos de evaluación de riesgos para ayudar a los funcionarios a decidir si se concede la libertad condicional o la libertad bajo fianza a las personas, o si se las remite a programas de rehabilitación. También se pueden utilizar para evaluar cuánto riesgo presenta un delincuente para la sociedad, que es un factor que un juez podría considerar al decidir la duración de una sentencia.
No está claro exactamente qué datos se utilizan para ayudar a realizar estas evaluaciones, pero a medida que se acelera el avance hacia el control policial digital, es cada vez más probable que estos programas incorporen información de código abierto, como la actividad de los medios sociales, si es que no lo hacen ya.
Estas evaluaciones pueden no sólo mirar el perfil de una persona, sino también cómo se compara con el de los demás. Históricamente, algunas fuerzas policiales han supervisado en exceso a ciertas comunidades minoritarias, lo que ha dado lugar a un número desproporcionado de denuncias de incidentes delictivos. Si estos datos se introducen en un algoritmo, se distorsionarán los modelos de evaluación de riesgos y se producirá una discriminación que afectará directamente al derecho de una persona a la libertad.
4. Examinar las solicitudes de visado
El año pasado, la Agencia de Inmigración y Control de Aduanas de Estados Unidos (ICE) anunció que quería introducir un programa automatizado de “investigación extrema de visados“. Se escanearían automática y continuamente las cuentas de los medios sociales, para evaluar si los solicitantes harán una “contribución positiva” a los Estados Unidos, y si pueden surgir problemas de seguridad nacional.
Además de presentar riesgos para la libertad de pensamiento, opinión, expresión y asociación, había riesgos significativos de que este programa discriminara a personas de ciertas nacionalidades o religiones. Los comentaristas lo caracterizaron como una “prohibición musulmana por algoritmo”.
El programa fue retirado recientemente, supuestamente sobre la base de que “no había ningún software “listo para usar” que pudiera ofrecer la calidad de seguimiento que la agencia quería”. Sin embargo, la inclusión de esos objetivos en los documentos de contratación pública puede crear malos incentivos para que la industria tecnológica elabore programas discriminatorios por diseño.
No hay duda de que los grandes análisis de datos funcionan de manera que pueden afectar las oportunidades de los individuos en la vida. Sin embargo, la falta de transparencia sobre el tamaño de los datos recopilados, utilizados y compartidos dificulta que las personas sepan qué información se utiliza, cómo y cuándo. El Big Data es simplemente demasiado complicado para que las personas puedan proteger sus datos de un uso inapropiado. En lugar de ello, los estados y las empresas deben elaborar -y cumplir- reglamentaciones para garantizar que el uso de grandes cantidades de datos no conduzca a la discriminación.
por Lorna McGregor, Daragh Murray y Vivian Ng traducción David Ormeño
Tanto si te das cuenta de ello como si no, los grandes datos pueden afectarte a ti y a cómo vives tu vida. Los datos que creamos cuando utilizamos los medios sociales, navegamos por Internet y usamos rastreadores de fitness son recopilados, categorizados y utilizados por las empresas y el estado para crear perfiles de nosotros. Estos perfiles se utilizan luego para dirigir la publicidad de productos y servicios a las personas más propensas a comprarlos, o para informar las decisiones del gobierno.
Los grandes datos permiten a los estados y a las empresas acceder, combinar y analizar nuestra información y crear perfiles reveladores -pero incompletos y potencialmente inexactos– de nuestras vidas. Lo hacen identificando correlaciones y patrones en los datos sobre nosotros, y personas con perfiles similares a los nuestros, para hacer predicciones sobre lo que podríamos hacer.
Pero el hecho de que los grandes análisis de datos se basen en algoritmos y estadísticas no significa que sean precisos, neutrales u inherentemente objetivos. Y si bien los grandes datos pueden proporcionar información sobre el comportamiento del grupo, éstos no son necesariamente una manera confiable de determinar el comportamiento individual. De hecho, estos métodos pueden abrir la puerta a la discriminación y amenazar los derechos humanos de las personas . Aquí hay cuatro ejemplos en los que el análisis de grandes datos puede llevar a la injusticia.
1. Cálculo de puntajes para crédito
El big data se puede utilizar para tomar decisiones sobre la elegibilidad para crédito, lo que afecta si se le concede una hipoteca, o qué tan altas deben ser sus primas de seguro de automóvil. Estas decisiones pueden ser informadas por sus publicaciones en los medios sociales y datos de otras aplicaciones, los cuales son tomados para indicar su nivel de riesgo o confiabilidad.
Sin embargo, es posible que datos como su formación académica o su lugar de residencia no sean pertinentes o fiables para tales evaluaciones. Este tipo de datos puede actuar como un indicador de raza o estatus socioeconómico, y utilizarlos para tomar decisiones sobre el riesgo crediticio podría resultar en discriminación.
2. Búsqueda de empleo
El big data se puede utilizar para determinar quién ve un anuncio de trabajo o es preseleccionado para una entrevista. Las ofertas de empleo pueden dirigirse a determinados grupos de edad, como los de 25 a 36 años, lo que excluye a los trabajadores más jóvenes y de más edad de la posibilidad de acceder a determinados puestos de trabajo y entraña un riesgo de discriminación por motivos de edad.
La automatización también se utiliza para hacer más eficiente el filtrado, agupando y la clasificando a los candidatos. Pero este proceso de selección puede excluir a las personas sobre la base de indicadores como la distancia de su viaje al trabajo. Los empleadores podrían suponer que las personas que viajan más tiempo al trabajo tienen menos probabilidades de permanecer en un trabajo a largo plazo, pero esto puede discriminar a las personas que viven más lejos del centro de la ciudad debido a la ubicación de viviendas asequibles.
3. Decisiones de libertad condicional y libertad bajo fianza
En los EE.UU. y el Reino Unido, se utilizan grandes modelos de evaluación de riesgos para ayudar a los funcionarios a decidir si se concede la libertad condicional o la libertad bajo fianza a las personas, o si se las remite a programas de rehabilitación. También se pueden utilizar para evaluar cuánto riesgo presenta un delincuente para la sociedad, que es un factor que un juez podría considerar al decidir la duración de una sentencia.
No está claro exactamente qué datos se utilizan para ayudar a realizar estas evaluaciones, pero a medida que se acelera el avance hacia el control policial digital, es cada vez más probable que estos programas incorporen información de código abierto, como la actividad de los medios sociales, si es que no lo hacen ya.
Estas evaluaciones pueden no sólo mirar el perfil de una persona, sino también cómo se compara con el de los demás. Históricamente, algunas fuerzas policiales han supervisado en exceso a ciertas comunidades minoritarias, lo que ha dado lugar a un número desproporcionado de denuncias de incidentes delictivos. Si estos datos se introducen en un algoritmo, se distorsionarán los modelos de evaluación de riesgos y se producirá una discriminación que afectará directamente al derecho de una persona a la libertad.
4. Examinar las solicitudes de visado
El año pasado, la Agencia de Inmigración y Control de Aduanas de Estados Unidos (ICE) anunció que quería introducir un programa automatizado de “investigación extrema de visados“. Se escanearían automática y continuamente las cuentas de los medios sociales, para evaluar si los solicitantes harán una “contribución positiva” a los Estados Unidos, y si pueden surgir problemas de seguridad nacional.
Además de presentar riesgos para la libertad de pensamiento, opinión, expresión y asociación, había riesgos significativos de que este programa discriminara a personas de ciertas nacionalidades o religiones. Los comentaristas lo caracterizaron como una “prohibición musulmana por algoritmo”.
El programa fue retirado recientemente, supuestamente sobre la base de que “no había ningún software “listo para usar” que pudiera ofrecer la calidad de seguimiento que la agencia quería”. Sin embargo, la inclusión de esos objetivos en los documentos de contratación pública puede crear malos incentivos para que la industria tecnológica elabore programas discriminatorios por diseño.
No hay duda de que los grandes análisis de datos funcionan de manera que pueden afectar las oportunidades de los individuos en la vida. Sin embargo, la falta de transparencia sobre el tamaño de los datos recopilados, utilizados y compartidos dificulta que las personas sepan qué información se utiliza, cómo y cuándo. El Big Data es simplemente demasiado complicado para que las personas puedan proteger sus datos de un uso inapropiado. En lugar de ello, los estados y las empresas deben elaborar -y cumplir- reglamentaciones para garantizar que el uso de grandes cantidades de datos no conduzca a la discriminación.
Compartir esto: