En la serie de CBS Medium Allison Dubois -interpretada por Patricia Arquette- ayuda al fiscal a resolver todo tipo de crímenes peliagudos. Gracias a sus poderes paranormales Dubois es capaz de desentrañar los misterios que traen de cabeza a los inspectores más avezados. Como ocurre a menudo, sin embargo, la realidad supera a la ficción. La justicia no necesita de médiums, pitonisas ni telépatas para combatir el crimen. Tiene a su alcance una herramienta mucho más eficaz: la tecnología. Algunas comisarías y juzgados la llevan al extremo de emplearla, aseguran, para predecir delitos y actuar antes de que ocurran. La clave es… ¿Funciona realmente? Y sobre todo, en el caso de que así sea, ¿hasta qué punto debe utilizarse con ese fin?
Poco a poco los softwares de prevención de la criminalidad ganan peso en las jefaturas. Algunos, similares a PredPol, sistema que estrenó hace años el Departamento de Policía de Los Ángeles y que se ha extendido al menos a medio centenar de agencias policiales repartidas por el mundo, ayudan a determinar el riesgo de que se cometa un delito en un área geográfica. Otros programas, como COMPAS, valoran la probabilidad de que un individuo reincida en el futuro.
Su funcionamiento varía en cada caso, dependiendo de cuál sea el objetivo. En su web oficial PredPol asegura que utiliza solo tres factores para elaborar sus predicciones: el tipo de delito, la ubicación y la fecha y hora. Los resultados se plasman en una interfaz web a través de Google Maps, donde se representan en cuadrados de 150×150 m las “áreas de mayor riesgo”.
En España la Policía Local de Castellón aplica una herramienta pionera -de filosofía similar a PredPol- en colaboración con la Cátedra Eurocop de la Universidad Jaume I que ya ha despertado el interés de los agentes de Rivas Vaciamadrid y la Policía Nacional. Su director, el matemático Jorge Mateu, detalla que su software trabaja con información geográfica, económica, meteorológica… que le permite trasladar a un mapa el riesgo de que se cometa un determinado delito.
“Se introducen las variables que tomará el algoritmo matemático para la creación de los mapas de riesgo”, explica Mateu, quien apostilla que el sistema maneja una amplia gama de factores. Entre ellos hay datos ligados de forma directa con las infracciones que se pretende evitar. “Son coordenadas (x, y, t, d) dando el lugar de la ciudad y el instante del delito. La componente ‘d’ indica su tipo: robo, homicidio, riña callejera…”, anota el director de la Cátedra Eurocop. Durante la fase de modelización y predicción, el programa tiene en cuenta el histórico de crímenes de cada zona.
A mayores el software usa valores demográficos y económicos -población por sectores, barrios o distritos, propiedades, nivel de vida…- y medioambientales. Cada minuto u hora se miden aspectos como la temperatura, la velocidad del viento, la humedad o la lluvia, que juegan un papel importante a la hora de establecer la probabilidad de que se cometan actos criminales.
“Lo que hacemos es proponer modelos de predicción en espacio-tiempo, modelos estocástico-matemáticos que, de alguna forma, arrojan con qué probabilidad va a ocurrir un delito, en qué zonas de la ciudad y en qué instantes temporales, en un formato muy sencillo: las calles salen coloreadas con tonos que representan probabilidades. Esos mapas son de actualización continua”, explica Mateu: “La policía va tomando los datos y reajustando las predicciones a futuro, por lo tanto tiene el feedback en tiempo real para las próximas horas”.
Diferente mecanismo emplean los softwares que trabajan con individuos concretos en vez de barrios. El algoritmo de COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), programa comercializado por la empresa Northpointe, opera con las respuestas que sus sujetos dan a un cuestionario de 137 ítems. Según sus promotores, el programa permite conocer la probabilidad de reincidencia de alguien que ya ha cometido un delito.
Los datos son extraídos de registros criminales y de preguntas que se formulan directamente a cada una de las personas analizadas: antecedentes familiares, consumo de drogas en su entorno, participación en peleas durante la infancia… Con ellos COMPAS determina mediante una escala numérica si el riesgo de que vuelva a delinquir resulta bajo, moderado o alto.
“COMPAS se basa en datos estadísticos y dinámicos para generar sus resultados de riesgo y necesidades. El uso de medidas dinámicas permite que estas cambien con el tiempo a medida que varía el comportamiento”, aclara Northpointe, que asegura disponer de mecanismos para evitar que respuestas incorrectas o falsas de los sujetos puedan alterar sus valoraciones.
Una expansión imparable
Desde su puesta en marcha modelos predictivos como PredPol o COMPAS han ganado popularidad y peso en los sistemas de justicia. La herramienta comercializada por Northpointe empezó a utilizarse en los juzgados de EE UU en 1998 y en los últimos 20 años ha ido haciéndose cada vez más habitual en el país. Las puntuaciones de COMPAS se usan por ejemplo para decidir sobre la libertad condicional. Al menos en 2016, en algunos estados -como Colorado, Virginia u Oklahoma- los jueces tenían acceso a la evaluación incluso durante la fase de la sentencia penal.
Un éxito similar alcanzaron los softwares que operan con mapas al estilo de PredPol. Ciudades repartidas por el globo han decidido incorporarlos a sus comisarías o, al menos, los han probado. Montevideo, Milán, Chicago, California, Manchester, Kent, Dubai… Son solo algunos ejemplos. En Kanagawa, en la región de Kantō, cerca de Tokio, la policía valora emplear herramientas similares para mejorar la seguridad durante las Olimpiadas y Paraolimpiadas de 2020. Mateu apunta que su programa de predicción ha suscitado el interés de Colombia, México y Ecuador.
Su expansión ha ido acompañada a menudo de estudios que predican las bondades de estas herramientas. La Policía de Memphis e IBM, por ejemplo, aseguran que el uso de un software de análisis predictivo desarrollado por el gigante azul ha permitido reducir un 30% los crímenes más graves y un 15% los sucesos violentos en la ciudad. En 2014 la Policía de Reading (Pensilvania) mantenía que gracias a PredPol había disminuido un 23% los robos en apenas 14 meses.
No todos los análisis apuntan en la misma dirección. En los últimos años investigaciones independientes -al margen de las empresas que desarrollan los softwares– cuestionan que este tipo de herramientas sean una panacea. En 2013 el semanario SFWeekly publicaba un artículo en el que concluía que buena parte del éxito de PredPol dependía de su marketing agresivo.
Según recogía el semanario de San Francisco, la empresa requiere a las agencias de policía que promocionen sus virtudes aun cuando -sostiene- “su efectividad todavía no ha sido probada”. A modo de ejemplo cita el caso de Seattle, donde PredPol habría abaratado su precio un 36% -hasta dejarlo en 135.000 dólares- a cambio de que la ciudad le favoreciera con buena prensa.
SFWeekly no es el único que ha arrojado sombras sobre la eficacia de los programas predictivos. En 2016 la organización de periodismo ProPublica divulgó un exhaustivo informe en el que apuntaba dudas sobre la efectividad de COMPAS y alertaba de los profundos sesgo raciales del sistema.
Ante esos resultados un equipo del Dartmouth Collegue realizó tiempo después un nuevo análisis para valorar el rango de aciertos de COMPAS. Sus conclusiones fueron incluso más sorprendentes: el algoritmo dio en el clavo en el 65% de las ocasiones. El grupo de control formado por los investigadores con unas 400 personas reclutadas a través de Amazon Mechanical Turk lo hizo en una medida similar: entre el 63 y 67% de las veces. Lo chocante es que los voluntarios carecían de preparación y disponían de menos datos que COMPAS. Aplicaban únicamente… ¡Su intuición!
A la luz de unos y otro estudios la pregunta del millón es… Podemos, pero ¿debemos utilizar los sistemas de prevención de delincuencia? ¿Es un error o un acierto recurrir a softwares de predicción por zonas, como PredPol? ¿Y los similares a COMPAS, que atañen a individuos específicos? ¿Podrían enquistar guetos urbanos los primeros al presuponer que serán escenarios de crímenes? ¿Predisponen a los agentes de policía? Y los segundos, ¿perpetúan prejuicios? ¿Dejan en manos de herramientas parciales el futuro de los encausados?
El debate está servido.
Una de las discusiones más frecuentes se centra en cómo calibrar la eficacia de los programas. Dado que las campañas para prevenir la delincuencia no suelen depender solo de un software, ¿cómo determinar en qué medida es este responsable de un descenso de la criminalidad? ¿Cuánto es mérito del algoritmo y cuánto de otras políticas? Sus críticos censuran además la opacidad con la que suelen operar los programas, comercializados a menudo por empresas privadas.
“La policía quiere una actitud de prevención, no de reacción”, anota Mateu, quien reconoce que esa característica dificulta valorar los resultados del software. “La policía distribuye las patrullas de tal forma que van a un sitio en una franja horaria. Si el delito no ocurre la pregunta es: ¿Se debe a que el modelo no ha sido fiable o a que, como han ido antes de que ocurra, lo han evitado?”
Sergio Ilarri, profesor del área de Lenguajes Computacionales y Sistemas de Ingeniería de la Universidad de Zaragoza, señala que en gran medida el éxito de un software depende de que la recogida de información se haga de forma eficiente. “Los datos deben ser tan completos, precisos y representativos como sea posible”, aconseja el experto antes de advertir de los “sesgos” que pueden ocasionar “metodologías inadecuadas, prejuicios o la simple subjetividad de los implicados”.
El director de la Cátedra Eurocop reconoce que es “imposible” alcanzar predicciones con una fiabilidad absoluta, del 100%, pero insiste en que los modelos que maneja su software arrojan altas probabilidades comprendidas entre el 70 y 80%. “Se trabaja con aleatoriedad y eso siempre deja una franja imposible de control”, abunda Mateu, convencido sin embargo de que sigue habiendo cierto margen de mejora.
A menudo los datos disponibles deben manejarse con precaución. En el caso de PredPol, gran parte de los estudios que se citan para acreditar su eficacia están ligados a la propia empresa. Durante su análisis, SFWeekly contactó con ciudades de EEUU que usan el software de predicción en busca de valoraciones independientes. El resultado –como ya se hacía eco XATAKA en 2015- fue decepcionante: ninguna pudo o quiso aportar informes de elaboración propia.
Sarah L. Desmarais y Jay P. Singh elaboraron un estudio en 2013 en el que analizaron 19 sistemas de evaluación de riesgo -CAIS, DFIA, IORNS, ROC, RMS, OGRS… Además de COMPAS- y detectaron la falta de informes objetivos sobre su eficacia. “En la mayoría de los casos, la validez solo se había examinado en uno o dos estudios realizados en EE UU y, con frecuencia, los completaban los mismos que desarrollaban el instrumento”, concluían.
¿Herramientas con sesgos raciales?
PredPol incide en que para su labor “nunca se usa información personal identificable”. “No se utiliza información demográfica, étnica o socioeconómica. Esto elimina la posibilidad de violaciones de privacidad o derechos civiles”, subraya de forma tajante la empresa. Sin embargo, ¿podría el uso de estas herramientas enquistar guetos o condicionar a los agentes de policía?
En 2015 Forbes citaba a Peter Scharf, un criminólogo de Louisiana que alertaba de que sistemas como PredPol pueden llevar a agentes inexpertos a exagerar sin pretenderlo la conflictividad de un barrio. Antonio Diéguez, Catedrático de Lógica y Filosofía de la Ciencia de la Universidad de Málaga, admite que es “difícil” demostrar la eficacia de estos recursos, pero ve “fuera de lugar” la crítica de que puedan fomentar guetos. “Al contrario, contribuirán a su desaparición”.
“La existencia de guetos tiene causas sociales, económicas… Que se reduzca la delincuencia puede ayudar a que un gueto deje de serlo”, reflexiona Diéguez: “¿Criminalización? La mayoría de las personas de estas zonas son víctimas, no delincuentes”. En su opinión, si los agentes llegaran a tratar como un criminal potencial a algún vecino de un barrio señalado por PredPol se debería a un fallo humano, no del software. Su principal crítica se centra en la “opacidad” del sistema.
El profesor Andoni Alonso Puelles, del Departamento de Filosofía y Sociedad de la Universidad Complutense de Madrid, invita a reflexionar sobre la titularidad de los programas y los datos con los que operan. “Las zonas peligrosas de una ciudad son un saber más o menos tácito. No creo que en ese sentido afecte mucho. No me parece incorrecto que un Estado organice este tipo de cosas. Lo que me causa más problemas es si son las empresas las que lo proveen. ¿Quién tiene la propiedad y la titularidad de los datos y del producto?”, reflexiona el académico.
Los partidarios de programas similares a PredPol replican que su uso mejora la seguridad y permite una organización más eficiente de los recursos. Mateu recuerda que los datos que maneja la policía son además confidenciales. “Esa información no se hace pública. No puede ser que a la gente de una ciudad se le diga que en determinadas zonas hay una peligrosidad innata. Hay que ir con mucho cuidado para evitar definir la ciudad por zonas de conflictividad”, señala.
Un debate que afecta al futuro judicial
El debate se vuelve más complejo con programas como COMPAS, que trabajan con individuos concretos. El estudio de ProPublica -que analizó la evaluación de más de 7.000 arrestados en Broward entre 2013 y 2014- arrojaba un sesgo racial: “Los demandados de raza negra que no reincidieron en dos años tenían casi el doble de probabilidades de ser clasificados erróneamente como de mayor riesgo en comparación con sus contrapartes blancos (45% frente al 23%)”.
En 2014 el entonces Fiscal General de EE UU, Eric Holder, ya advertía de que con las puntuaciones de riesgo se podrían estar introduciendo sesgos en los tribunales. Otro examen publicado en 2015 por Associated Press (AP) encontró “problemas significativos” en las encuestas que se elaboraban para las herramientas de evaluación de riesgos, aunque sin citar a COMPAS ni ningún otro programa. Sus conclusiones -recordaba AP- se han usado sobre todo en la toma de decisiones sobre la libertad condicional, “pero cada vez más se utilizan para dictar sentencia”.
Consciente de las críticas por sus sesgos, Northpointe alega en su presentación oficial que COMPAS “funciona bien entre géneros y etnias”. La empresa únicamente reconoce “algunas limitaciones con respecto a la idoneidad para los delincuentes con enfermedades mentales”. Entre las 137 preguntas que plantea a los sujetos que evalúa, de hecho, no habría ninguna sobre la raza. Sin embargo el fundador de la compañía, el profesor Tim Brennan, ha reconocido la dificultad de elaborar un sistema con factores que no puedan correlacionarse con la etnia.
Si se ha demostrado que tiende a penalizar a la población negra, si su porcentaje de aciertos es similar al que obtienen los humanos echando mano de la simple intuición… ¿Cómo se justifica su éxito comercial? Una explicación es el deseo de racionalizar la onerosa política carcelaria de EE UU, que cuesta millones a sus arcas públicas. En su artículo, AP apuntaba que se podría lograr un importante ahorro gracias, en parte, a las herramientas de evaluación de riesgo.
Diéguez urge “andar con pies de plomo” cuando se trata con personas. “Estos sistemas son opacos. No justifican la decisión final. Eso impide detectar sesgos en casos concretos, solo a largo plazo”, advierte el catedrático de la Universidad de Málaga. En enero el popular periodista Ed Yong se hacía eco en las páginas de The Atlantic del caso de Eric Loomis, que ejemplifica el temor de Diéguez.
La policía arrestó a Loomis mientras conducía un automóvil que se había utilizado en un tiroteo. Al decidir su condena el juez tuvo en cuenta -entre otros factores- la valoración de COMPAS, que asignó al acusado un riesgo elevado de reincidencia. La sentencia: seis años de prisión. Su abogado apeló argumentando la falta de transparencia del programa. La Corte Suprema de Wisconsin dictó contra Loomis porque consideró que la condena de prisión habría sido la misma sin COMPAS, pero sí recomendó manejar el algoritmo con precaución.
Puelles considera que los programas del corte de COMPAS constituyen “una herramienta más” a disposición de los magistrados. “Igual que antes debían interpretar informes psiquiátricos, policiales, de la Seguridad Social… para sacar sus conclusiones. No creo que un juez competente se fie solo de un algoritmo”, razona. Sin embargo advierte sobre el “peligro” de “automatizar la justicia”.
“Este es un caso más de esa especie de mística del algoritmo que puede traer consecuencias lamentables. Sería necesario un acercamiento prudencial y tener presente que el factor humano resulta fundamental. Al final un juez que dicta una sentencia viciada o errónea es responsable, pero si un algoritmo se carga el futuro de 30 o 40 personas… ¿Quién es el responsable? ¿El programador? ¿La compañía? Empieza a desaparecer la responsabilidad”, lamenta Puelles, quien plantea abrir “un debate profundo” sobre el alcance de este tipo de recursos.
Desde la Universidad de Sevilla, José Antonio Marín Casanova, profesor entre otras materias de Filosofía Actual, Tecnociencia y Sociedad, invita a “abandonar la ingenua tecnofobia”, aunque sin “entregarse a la tecnofilia”. “Habría que someter estas herramientas de prevención de la delincuencia a tests de resistencia axiológica para comprobar en qué medida pueden ser contraproducentes por fomentar la discriminación ideológica, étnica, económica, religiosa o sexual, por no hablar de su posible uso no ya para evitar el crimen, sino para castigarlo preventivamente”, reflexiona.
Una apoyo más, no una “caja mágica”
En lo que coinciden las voces críticas y los partidarios de las herramientas de prevención consultados es en que estas deben entenderse como utensilios, no como un sustituto del criterio de los expertos. “La idea es que puedan usarse como ayuda, pero no como elementos determinantes”, señala Diéguez antes de apuntar la ironía que supondría buscar algoritmos más fiables sin atacar al mismo tiempo las causas de la delincuencia: los factores económicos y sociales.
“Estamos en un mundo del big data. Hay mucha información en la Red y la policía necesita herramientas para llegar. Está claro que al final son decisiones personales, que son los cuerpos directivos, los agentes… los que toman las decisiones. Esto ayuda en ese proceso. No creo que se base solo en un software”, abunda Mateu. De opinión similar, Ilarri recuerda que los programas brindan un “apoyo” como recursos “útiles por su capacidad para procesar grandes volúmenes de datos de distinto tipo”.
“No se debe delegar totalmente en ellos la toma de decisiones. Si consideramos estas herramientas ‘cajas negras’ a las que proporcionamos datos de distinto tipo y que mágicamente nos devuelven respuestas óptimas estaríamos cometiendo un gran error, ya que supondría asumir que el software y el modelo empleados son perfectos y completos”, razona.
Ilarri insiste también en la necesidad de que sean “equipos multidisciplinares y especializados” los que manejen los programas. “Es fundamental el papel de los expertos del ámbito del problema que se desea abordar (en este caso, por ejemplo, de las personas con experiencia en la organización de las fuerzas de seguridad) para utilizar e interpretar adecuadamente tanto los datos de entrada como los resultados y tomar decisiones informadas, guiadas por los datos”, precisa.
“Correctamente utilizadas por personal especializado, estas herramientas pueden ayudar a planificar acciones de forma adecuada. Utilizadas de forma incorrecta pueden llevar a decisiones inadecuadas o incluso reforzar prejuicios” -remata el experto- “Es importante trabajar en la formación de las personas que las utilicen, en reglamentaciones y códigos éticos que regulen la recolección y uso de datos, y en el desarrollo de técnicas de gestión de datos más avanzadas”.
En la serie de CBS Medium Allison Dubois -interpretada por Patricia Arquette- ayuda al fiscal a resolver todo tipo de crímenes peliagudos. Gracias a sus poderes paranormales Dubois es capaz de desentrañar los misterios que traen de cabeza a los inspectores más avezados. Como ocurre a menudo, sin embargo, la realidad supera a la ficción. La justicia no necesita de médiums, pitonisas ni telépatas para combatir el crimen. Tiene a su alcance una herramienta mucho más eficaz: la tecnología. Algunas comisarías y juzgados la llevan al extremo de emplearla, aseguran, para predecir delitos y actuar antes de que ocurran. La clave es… ¿Funciona realmente? Y sobre todo, en el caso de que así sea, ¿hasta qué punto debe utilizarse con ese fin?
Poco a poco los softwares de prevención de la criminalidad ganan peso en las jefaturas. Algunos, similares a PredPol, sistema que estrenó hace años el Departamento de Policía de Los Ángeles y que se ha extendido al menos a medio centenar de agencias policiales repartidas por el mundo, ayudan a determinar el riesgo de que se cometa un delito en un área geográfica. Otros programas, como COMPAS, valoran la probabilidad de que un individuo reincida en el futuro.
Su funcionamiento varía en cada caso, dependiendo de cuál sea el objetivo. En su web oficial PredPol asegura que utiliza solo tres factores para elaborar sus predicciones: el tipo de delito, la ubicación y la fecha y hora. Los resultados se plasman en una interfaz web a través de Google Maps, donde se representan en cuadrados de 150×150 m las “áreas de mayor riesgo”.
En España la Policía Local de Castellón aplica una herramienta pionera -de filosofía similar a PredPol- en colaboración con la Cátedra Eurocop de la Universidad Jaume I que ya ha despertado el interés de los agentes de Rivas Vaciamadrid y la Policía Nacional. Su director, el matemático Jorge Mateu, detalla que su software trabaja con información geográfica, económica, meteorológica… que le permite trasladar a un mapa el riesgo de que se cometa un determinado delito.
“Se introducen las variables que tomará el algoritmo matemático para la creación de los mapas de riesgo”, explica Mateu, quien apostilla que el sistema maneja una amplia gama de factores. Entre ellos hay datos ligados de forma directa con las infracciones que se pretende evitar. “Son coordenadas (x, y, t, d) dando el lugar de la ciudad y el instante del delito. La componente ‘d’ indica su tipo: robo, homicidio, riña callejera…”, anota el director de la Cátedra Eurocop. Durante la fase de modelización y predicción, el programa tiene en cuenta el histórico de crímenes de cada zona.
A mayores el software usa valores demográficos y económicos -población por sectores, barrios o distritos, propiedades, nivel de vida…- y medioambientales. Cada minuto u hora se miden aspectos como la temperatura, la velocidad del viento, la humedad o la lluvia, que juegan un papel importante a la hora de establecer la probabilidad de que se cometan actos criminales.
“Lo que hacemos es proponer modelos de predicción en espacio-tiempo, modelos estocástico-matemáticos que, de alguna forma, arrojan con qué probabilidad va a ocurrir un delito, en qué zonas de la ciudad y en qué instantes temporales, en un formato muy sencillo: las calles salen coloreadas con tonos que representan probabilidades. Esos mapas son de actualización continua”, explica Mateu: “La policía va tomando los datos y reajustando las predicciones a futuro, por lo tanto tiene el feedback en tiempo real para las próximas horas”.
Diferente mecanismo emplean los softwares que trabajan con individuos concretos en vez de barrios. El algoritmo de COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), programa comercializado por la empresa Northpointe, opera con las respuestas que sus sujetos dan a un cuestionario de 137 ítems. Según sus promotores, el programa permite conocer la probabilidad de reincidencia de alguien que ya ha cometido un delito.
Los datos son extraídos de registros criminales y de preguntas que se formulan directamente a cada una de las personas analizadas: antecedentes familiares, consumo de drogas en su entorno, participación en peleas durante la infancia… Con ellos COMPAS determina mediante una escala numérica si el riesgo de que vuelva a delinquir resulta bajo, moderado o alto.
“COMPAS se basa en datos estadísticos y dinámicos para generar sus resultados de riesgo y necesidades. El uso de medidas dinámicas permite que estas cambien con el tiempo a medida que varía el comportamiento”, aclara Northpointe, que asegura disponer de mecanismos para evitar que respuestas incorrectas o falsas de los sujetos puedan alterar sus valoraciones.
Una expansión imparable
Desde su puesta en marcha modelos predictivos como PredPol o COMPAS han ganado popularidad y peso en los sistemas de justicia. La herramienta comercializada por Northpointe empezó a utilizarse en los juzgados de EE UU en 1998 y en los últimos 20 años ha ido haciéndose cada vez más habitual en el país. Las puntuaciones de COMPAS se usan por ejemplo para decidir sobre la libertad condicional. Al menos en 2016, en algunos estados -como Colorado, Virginia u Oklahoma- los jueces tenían acceso a la evaluación incluso durante la fase de la sentencia penal.
Un éxito similar alcanzaron los softwares que operan con mapas al estilo de PredPol. Ciudades repartidas por el globo han decidido incorporarlos a sus comisarías o, al menos, los han probado. Montevideo, Milán, Chicago, California, Manchester, Kent, Dubai… Son solo algunos ejemplos. En Kanagawa, en la región de Kantō, cerca de Tokio, la policía valora emplear herramientas similares para mejorar la seguridad durante las Olimpiadas y Paraolimpiadas de 2020. Mateu apunta que su programa de predicción ha suscitado el interés de Colombia, México y Ecuador.
Su expansión ha ido acompañada a menudo de estudios que predican las bondades de estas herramientas. La Policía de Memphis e IBM, por ejemplo, aseguran que el uso de un software de análisis predictivo desarrollado por el gigante azul ha permitido reducir un 30% los crímenes más graves y un 15% los sucesos violentos en la ciudad. En 2014 la Policía de Reading (Pensilvania) mantenía que gracias a PredPol había disminuido un 23% los robos en apenas 14 meses.
No todos los análisis apuntan en la misma dirección. En los últimos años investigaciones independientes -al margen de las empresas que desarrollan los softwares– cuestionan que este tipo de herramientas sean una panacea. En 2013 el semanario SFWeekly publicaba un artículo en el que concluía que buena parte del éxito de PredPol dependía de su marketing agresivo.
Según recogía el semanario de San Francisco, la empresa requiere a las agencias de policía que promocionen sus virtudes aun cuando -sostiene- “su efectividad todavía no ha sido probada”. A modo de ejemplo cita el caso de Seattle, donde PredPol habría abaratado su precio un 36% -hasta dejarlo en 135.000 dólares- a cambio de que la ciudad le favoreciera con buena prensa.
SFWeekly no es el único que ha arrojado sombras sobre la eficacia de los programas predictivos. En 2016 la organización de periodismo ProPublica divulgó un exhaustivo informe en el que apuntaba dudas sobre la efectividad de COMPAS y alertaba de los profundos sesgo raciales del sistema.
Ante esos resultados un equipo del Dartmouth Collegue realizó tiempo después un nuevo análisis para valorar el rango de aciertos de COMPAS. Sus conclusiones fueron incluso más sorprendentes: el algoritmo dio en el clavo en el 65% de las ocasiones. El grupo de control formado por los investigadores con unas 400 personas reclutadas a través de Amazon Mechanical Turk lo hizo en una medida similar: entre el 63 y 67% de las veces. Lo chocante es que los voluntarios carecían de preparación y disponían de menos datos que COMPAS. Aplicaban únicamente… ¡Su intuición!
A la luz de unos y otro estudios la pregunta del millón es… Podemos, pero ¿debemos utilizar los sistemas de prevención de delincuencia? ¿Es un error o un acierto recurrir a softwares de predicción por zonas, como PredPol? ¿Y los similares a COMPAS, que atañen a individuos específicos? ¿Podrían enquistar guetos urbanos los primeros al presuponer que serán escenarios de crímenes? ¿Predisponen a los agentes de policía? Y los segundos, ¿perpetúan prejuicios? ¿Dejan en manos de herramientas parciales el futuro de los encausados?
El debate está servido.
Una de las discusiones más frecuentes se centra en cómo calibrar la eficacia de los programas. Dado que las campañas para prevenir la delincuencia no suelen depender solo de un software, ¿cómo determinar en qué medida es este responsable de un descenso de la criminalidad? ¿Cuánto es mérito del algoritmo y cuánto de otras políticas? Sus críticos censuran además la opacidad con la que suelen operar los programas, comercializados a menudo por empresas privadas.
“La policía quiere una actitud de prevención, no de reacción”, anota Mateu, quien reconoce que esa característica dificulta valorar los resultados del software. “La policía distribuye las patrullas de tal forma que van a un sitio en una franja horaria. Si el delito no ocurre la pregunta es: ¿Se debe a que el modelo no ha sido fiable o a que, como han ido antes de que ocurra, lo han evitado?”
Sergio Ilarri, profesor del área de Lenguajes Computacionales y Sistemas de Ingeniería de la Universidad de Zaragoza, señala que en gran medida el éxito de un software depende de que la recogida de información se haga de forma eficiente. “Los datos deben ser tan completos, precisos y representativos como sea posible”, aconseja el experto antes de advertir de los “sesgos” que pueden ocasionar “metodologías inadecuadas, prejuicios o la simple subjetividad de los implicados”.
El director de la Cátedra Eurocop reconoce que es “imposible” alcanzar predicciones con una fiabilidad absoluta, del 100%, pero insiste en que los modelos que maneja su software arrojan altas probabilidades comprendidas entre el 70 y 80%. “Se trabaja con aleatoriedad y eso siempre deja una franja imposible de control”, abunda Mateu, convencido sin embargo de que sigue habiendo cierto margen de mejora.
A menudo los datos disponibles deben manejarse con precaución. En el caso de PredPol, gran parte de los estudios que se citan para acreditar su eficacia están ligados a la propia empresa. Durante su análisis, SFWeekly contactó con ciudades de EEUU que usan el software de predicción en busca de valoraciones independientes. El resultado –como ya se hacía eco XATAKA en 2015- fue decepcionante: ninguna pudo o quiso aportar informes de elaboración propia.
Sarah L. Desmarais y Jay P. Singh elaboraron un estudio en 2013 en el que analizaron 19 sistemas de evaluación de riesgo -CAIS, DFIA, IORNS, ROC, RMS, OGRS… Además de COMPAS- y detectaron la falta de informes objetivos sobre su eficacia. “En la mayoría de los casos, la validez solo se había examinado en uno o dos estudios realizados en EE UU y, con frecuencia, los completaban los mismos que desarrollaban el instrumento”, concluían.
¿Herramientas con sesgos raciales?
PredPol incide en que para su labor “nunca se usa información personal identificable”. “No se utiliza información demográfica, étnica o socioeconómica. Esto elimina la posibilidad de violaciones de privacidad o derechos civiles”, subraya de forma tajante la empresa. Sin embargo, ¿podría el uso de estas herramientas enquistar guetos o condicionar a los agentes de policía?
En 2015 Forbes citaba a Peter Scharf, un criminólogo de Louisiana que alertaba de que sistemas como PredPol pueden llevar a agentes inexpertos a exagerar sin pretenderlo la conflictividad de un barrio. Antonio Diéguez, Catedrático de Lógica y Filosofía de la Ciencia de la Universidad de Málaga, admite que es “difícil” demostrar la eficacia de estos recursos, pero ve “fuera de lugar” la crítica de que puedan fomentar guetos. “Al contrario, contribuirán a su desaparición”.
“La existencia de guetos tiene causas sociales, económicas… Que se reduzca la delincuencia puede ayudar a que un gueto deje de serlo”, reflexiona Diéguez: “¿Criminalización? La mayoría de las personas de estas zonas son víctimas, no delincuentes”. En su opinión, si los agentes llegaran a tratar como un criminal potencial a algún vecino de un barrio señalado por PredPol se debería a un fallo humano, no del software. Su principal crítica se centra en la “opacidad” del sistema.
El profesor Andoni Alonso Puelles, del Departamento de Filosofía y Sociedad de la Universidad Complutense de Madrid, invita a reflexionar sobre la titularidad de los programas y los datos con los que operan. “Las zonas peligrosas de una ciudad son un saber más o menos tácito. No creo que en ese sentido afecte mucho. No me parece incorrecto que un Estado organice este tipo de cosas. Lo que me causa más problemas es si son las empresas las que lo proveen. ¿Quién tiene la propiedad y la titularidad de los datos y del producto?”, reflexiona el académico.
Los partidarios de programas similares a PredPol replican que su uso mejora la seguridad y permite una organización más eficiente de los recursos. Mateu recuerda que los datos que maneja la policía son además confidenciales. “Esa información no se hace pública. No puede ser que a la gente de una ciudad se le diga que en determinadas zonas hay una peligrosidad innata. Hay que ir con mucho cuidado para evitar definir la ciudad por zonas de conflictividad”, señala.
Un debate que afecta al futuro judicial
El debate se vuelve más complejo con programas como COMPAS, que trabajan con individuos concretos. El estudio de ProPublica -que analizó la evaluación de más de 7.000 arrestados en Broward entre 2013 y 2014- arrojaba un sesgo racial: “Los demandados de raza negra que no reincidieron en dos años tenían casi el doble de probabilidades de ser clasificados erróneamente como de mayor riesgo en comparación con sus contrapartes blancos (45% frente al 23%)”.
En 2014 el entonces Fiscal General de EE UU, Eric Holder, ya advertía de que con las puntuaciones de riesgo se podrían estar introduciendo sesgos en los tribunales. Otro examen publicado en 2015 por Associated Press (AP) encontró “problemas significativos” en las encuestas que se elaboraban para las herramientas de evaluación de riesgos, aunque sin citar a COMPAS ni ningún otro programa. Sus conclusiones -recordaba AP- se han usado sobre todo en la toma de decisiones sobre la libertad condicional, “pero cada vez más se utilizan para dictar sentencia”.
Consciente de las críticas por sus sesgos, Northpointe alega en su presentación oficial que COMPAS “funciona bien entre géneros y etnias”. La empresa únicamente reconoce “algunas limitaciones con respecto a la idoneidad para los delincuentes con enfermedades mentales”. Entre las 137 preguntas que plantea a los sujetos que evalúa, de hecho, no habría ninguna sobre la raza. Sin embargo el fundador de la compañía, el profesor Tim Brennan, ha reconocido la dificultad de elaborar un sistema con factores que no puedan correlacionarse con la etnia.
Si se ha demostrado que tiende a penalizar a la población negra, si su porcentaje de aciertos es similar al que obtienen los humanos echando mano de la simple intuición… ¿Cómo se justifica su éxito comercial? Una explicación es el deseo de racionalizar la onerosa política carcelaria de EE UU, que cuesta millones a sus arcas públicas. En su artículo, AP apuntaba que se podría lograr un importante ahorro gracias, en parte, a las herramientas de evaluación de riesgo.
Diéguez urge “andar con pies de plomo” cuando se trata con personas. “Estos sistemas son opacos. No justifican la decisión final. Eso impide detectar sesgos en casos concretos, solo a largo plazo”, advierte el catedrático de la Universidad de Málaga. En enero el popular periodista Ed Yong se hacía eco en las páginas de The Atlantic del caso de Eric Loomis, que ejemplifica el temor de Diéguez.
La policía arrestó a Loomis mientras conducía un automóvil que se había utilizado en un tiroteo. Al decidir su condena el juez tuvo en cuenta -entre otros factores- la valoración de COMPAS, que asignó al acusado un riesgo elevado de reincidencia. La sentencia: seis años de prisión. Su abogado apeló argumentando la falta de transparencia del programa. La Corte Suprema de Wisconsin dictó contra Loomis porque consideró que la condena de prisión habría sido la misma sin COMPAS, pero sí recomendó manejar el algoritmo con precaución.
Puelles considera que los programas del corte de COMPAS constituyen “una herramienta más” a disposición de los magistrados. “Igual que antes debían interpretar informes psiquiátricos, policiales, de la Seguridad Social… para sacar sus conclusiones. No creo que un juez competente se fie solo de un algoritmo”, razona. Sin embargo advierte sobre el “peligro” de “automatizar la justicia”.
“Este es un caso más de esa especie de mística del algoritmo que puede traer consecuencias lamentables. Sería necesario un acercamiento prudencial y tener presente que el factor humano resulta fundamental. Al final un juez que dicta una sentencia viciada o errónea es responsable, pero si un algoritmo se carga el futuro de 30 o 40 personas… ¿Quién es el responsable? ¿El programador? ¿La compañía? Empieza a desaparecer la responsabilidad”, lamenta Puelles, quien plantea abrir “un debate profundo” sobre el alcance de este tipo de recursos.
Desde la Universidad de Sevilla, José Antonio Marín Casanova, profesor entre otras materias de Filosofía Actual, Tecnociencia y Sociedad, invita a “abandonar la ingenua tecnofobia”, aunque sin “entregarse a la tecnofilia”. “Habría que someter estas herramientas de prevención de la delincuencia a tests de resistencia axiológica para comprobar en qué medida pueden ser contraproducentes por fomentar la discriminación ideológica, étnica, económica, religiosa o sexual, por no hablar de su posible uso no ya para evitar el crimen, sino para castigarlo preventivamente”, reflexiona.
Una apoyo más, no una “caja mágica”
En lo que coinciden las voces críticas y los partidarios de las herramientas de prevención consultados es en que estas deben entenderse como utensilios, no como un sustituto del criterio de los expertos. “La idea es que puedan usarse como ayuda, pero no como elementos determinantes”, señala Diéguez antes de apuntar la ironía que supondría buscar algoritmos más fiables sin atacar al mismo tiempo las causas de la delincuencia: los factores económicos y sociales.
“Estamos en un mundo del big data. Hay mucha información en la Red y la policía necesita herramientas para llegar. Está claro que al final son decisiones personales, que son los cuerpos directivos, los agentes… los que toman las decisiones. Esto ayuda en ese proceso. No creo que se base solo en un software”, abunda Mateu. De opinión similar, Ilarri recuerda que los programas brindan un “apoyo” como recursos “útiles por su capacidad para procesar grandes volúmenes de datos de distinto tipo”.
“No se debe delegar totalmente en ellos la toma de decisiones. Si consideramos estas herramientas ‘cajas negras’ a las que proporcionamos datos de distinto tipo y que mágicamente nos devuelven respuestas óptimas estaríamos cometiendo un gran error, ya que supondría asumir que el software y el modelo empleados son perfectos y completos”, razona.
Ilarri insiste también en la necesidad de que sean “equipos multidisciplinares y especializados” los que manejen los programas. “Es fundamental el papel de los expertos del ámbito del problema que se desea abordar (en este caso, por ejemplo, de las personas con experiencia en la organización de las fuerzas de seguridad) para utilizar e interpretar adecuadamente tanto los datos de entrada como los resultados y tomar decisiones informadas, guiadas por los datos”, precisa.
“Correctamente utilizadas por personal especializado, estas herramientas pueden ayudar a planificar acciones de forma adecuada. Utilizadas de forma incorrecta pueden llevar a decisiones inadecuadas o incluso reforzar prejuicios” -remata el experto- “Es importante trabajar en la formación de las personas que las utilicen, en reglamentaciones y códigos éticos que regulen la recolección y uso de datos, y en el desarrollo de técnicas de gestión de datos más avanzadas”.
Fuente
Compartir esto: