¿Cómo puede un algoritmo prevenir asesinatos? (y cuáles son los desafíos al usarlo)

En julio de 2013, un hombre de 44 años llamado Bijan Ebrahimi fue apuñalado y golpeado hasta la muerte en Bristol, una ciudad al sur de Inglaterra. Su asesino, un vecino, derramó gasolina sobre su cuerpo y le prendió fuego a unos 100 metros de su casa.

Ebrahimi, quién nació en Irán pero residía en Reino Unido desde hace más de una década, cuando llegó al país como refugiado, había sido falsamente acusado por su asesino de ser un pedófilo.

En 73 ocasiones, durante un periodo de ocho años, Ebrahimi había denunciado a la policía que estaba siendo víctima de delitos por motivos raciales.

Sus quejas no fueron escuchadas y un informe sobre su muerte concluyó que tanto el Ayuntamiento de Bristol como la policía fueron culpables de racismo institucional.

“Fue un punto de inflexión en cuanto a lo que respecta a los datos”, dice Jonathan Dowey, quien dirige un pequeño grupo de analistas de datos en las fuerzas policiales de Avon y Somerset, responsables de Bristol y otras áreas rurales de la zona.

La pregunta que la policía comenzó a preguntarse fue: “¿Podríamos usar nuestros datos de manera más inteligente?”

Una investigación sobre la libertad de información del grupo por los derechos civiles Liberty descubrió recientemente que al menos 15 fuerzas policiales en Reino Unido han usado o planean usar algoritmos -fórmulas matemáticas computacionales- para combatir el crimen. Y es probable que en pocos años todas las fuerzas policiales del país utilicen ese método.

En Estados Unidos la policía de Chicago, la ciudad con el índice más alto de criminalidad, ya lo hace; se trata de un algoritmo que asigna puntuaciones con base en arrestos, disparos, afiliaciones con pandillas y otras variables para predecir probabilidades de dar o recibir un disparo.

También se han usado en Italia para luchar contra la mafia.

Tras la muerte de Ebrahimi, la policía de Avon y Somerset comenzó a experimentar con software para ver si podían identificar riesgos de agresores, pero también de víctimas potenciales.

¿Cuándo, dónde, quién?

Los humanos somos susceptibles de todo tipo de sesgos. Y, a diferencia de las computadoras, no somos buenos a la hora de detectar patrones; por ejemplo, si se han producido varias llamadas desde una misma dirección.

Cuando la policía de Bristol ejecutó a posteriori un modelo predictivo para ver si la tragedia puso haberse evitado, la dirección de Ebrahimi saltó en el sistema como una de las 10 principales preocupaciones.

Diferentes fuerzas policiales en el país están ahora probando distintos algoritmos.

La policía de West Midlands -que se ocupa de los condados metropolitanos de Inglaterra- usa un software para detectar patrones entre crímenes y épocas del año, días, semanas y horas en que se cometen. La de West Yorkshire, otro condado en el norte del país, usa un sistema para predecir zonas de alto riesgo.

La de Durham, en el noreste de Inglaterra, estuvo cooperando con la Universidad de Cambridge en un programa para diseñar un algoritmo capaz de predecir si una persona arrestada por un crimen tiene probabilidades de volver a delinquir o si es seguro que vuelvan a su comunidad. El algoritmo permite a la policía usar alternativas a operaciones costosas y a menudo frustradas.

En cuanto a la policía de Avon y Somerset, ahora usa algoritmos para todo tipo de cosas.

Una de ellas sirve para averiguar qué medidas tomar para encontrar a personas desaparecidas. Otra es una aplicación sobre las miles de llamadas que reciben cada día, que les ha permitido reducir el porcentaje de llamadas sin contestar de un 20% a un 3%.

“Estamos ante una tormenta de datos”, dice Jonathan Dowey. “Ya no es viable tener un ejército de humanos tratando de determinar riesgos y vulnerabilidades por su cuenta”.

Lo que preocupa

Puede que el público ignore en gran medida cómo los algoritmos están penetrando cada aspecto del sistema judicial -incluido, por ejemplo, un papel en la sentencia y en determinar si los presos reciben libertad condicional- pero los grupos de derechos civiles cada vez están más alarmados.

Hannah Couchman, de Libery, dice que “en lo que respecta a las herramientas de vigilancia predictiva, su uso debe cesar“.

Una de las preocupaciones tiene que ver con la supervisión humana. La policía de Avon y Somerset dice que, en definitiva, los algoritmos solo son informativos y que los humanos siempre tienen la decisión final.

Sin embargo, aunque esta es la práctica habitual es muy probable que a medida que las fuerzas policiales (fuera y dentro de Reino Unido) se vayan acostumbrando al uso de algoritmos, su dependencia hacia ellos crezca.

No se trata de una analogía exacta, pero los conductores que usan sistemas de navegación satelital suelen terminar creyendo que el GPS sabe más que ellos.

Otro motivo de preocupación tiene que ver con la transparencia.

Los algoritmos informan sobre decisiones importantes sobre la vida de las personas, pero si la computadora sugiere que alguien presenta un alto riesgo de volver a cometer un delito, la justicia requiere que el proceso por el que eso se calcula no solo sea accesible a los humanos, sino también objeto de recurso.

Otro problema aún más espinoso es el llamadosesgo de los algoritmos. Los algoritmos se basan en datos del pasado, los cuales fueron recabados por humanos que también pueden estar influenciados. Como resultado, se teme que puedan consolidar ese sesgo.

Hay muchas formas en las que eso puede ocurrir. Supongamos, por ejemplo, que uno de los factores de riesgo de un algorimo es la “afiliación a pandillas”.

Puede que la policía interprete el comportamiento ente jóvenes blancos y negros de manera diferente, y también que sea más probable que identifique a hombres negros como miembros de pandillas. Esta práctica discriminatoria puede ser introducida en el software.

Las variables

¿Qué variables deberían incluirse en un algoritmo? Es una cuestión polémica.

La mayoría de expertos en sistemas policiales están de acuerdo en excluir la raza. Pero, ¿y el sexo o la edad? ¿Qué hace que una variable sea más sesgada que otra? ¿Y el código postal? ¿Por qué alguien debería ser analizado con base en la zona en la que vive, no es eso discriminatorio hacia ciertos vecindarios?

El criminólogo estadounidense Lawrence Sherman, quien da clases en la Universidad de Cambridge, Reino Unido, lleva obsesionado con este tema desde la década de 1960, cuando se produjeron los brutales ataques a activistas de derechos civiles en Estados Unidos.

Sherman, quien es una figura destacada en el impulso de una vigilancia policial con base empírica, admite que al excluir ciertos factores como la raza o el código postal la precisión del algoritmo puede verse comprometida.

Pero dice hay que hacer que el algoritmo sea “menos preciso en un pequeño grado y más legítimo en un grado mucho mayor”.

Lo que resulta destacable es que no existe una legislación específica para gestionar el uso de los algoritmos policiales.

Si los algoritmos policiales no se llevan a cabo de manera correcta, pueden generarse escándalos e injusticia. Si se hacen bien, es esperan grandes beneficios.

Peter Neyroud, un exjefe de policía que ahora trabaja en el Instituto de Criminología de Cambridge, dice que los análisis de su organismo sugieren que “solo el 2,2,% de los atacantes (en Reino Unido) se espera que cometan otro delito grave en el futuro”. Si pudiéramos identificar con precisión ese pequeño porcentaje, podría reducirse drásticamente la población encarcelada.

Las causas por las que se produce un crimen son complejas, pero desde que la policía de Bristol comenzó a usar los algoritmos ha habido una caída del 11% en las denuncias de personas desaparecidas y en 10% en robos.

En cuanto al problema del sesgo algorítmico, el escenario es optimista. En teoría -y esperemos que también en la práctica- podríamos reducir el impacto de los prejuicios humanos.

Tomemos como ejemplo el caso de Bijan Ebrahimi. La policía falló a la hora de reconocer el peligro que un algoritmo podría haber destacado; en otras palabras, los algoritmos pueden salvar vidas.