Algoritmos sesgados: he aquí un enfoque más radical para crear justicia

por Tom Douglas

Nuestras vidas se ven cada vez más afectadas por los algoritmos. A las personas se les pueden negar préstamos, trabajos, pólizas de seguro o incluso la libertad condicional sobre la base de los puntajes de riesgo que producen.

Sin embargo, los algoritmos son notoriamente propensos a sesgos. Por ejemplo, los algoritmos utilizados para evaluar el riesgo de reincidencia delictiva suelen tener tasas de error más altas en los grupos étnicos minoritarios. Como ProPublica descubrió, el algoritmo COMPAS, ampliamente utilizado para predecir la reincidencia en el sistema de justicia penal de los EE.UU., tenía una tasa más alta de falsos positivos en personas de raza negra que en personas de raza blanca; era más probable que se predijera erróneamente que las personas de raza negra reincidieran en la comisión de un delito.

Hallazgos como estos han llevado a algunos a afirmar que los algoritmos son injustos o discriminatorios. En respuesta, los investigadores de la IA han tratado de producir algoritmos que eviten, o al menos minimicen, la injusticia, por ejemplo, igualando las tasas de falsos positivos en todos los grupos raciales. Recientemente, un grupo del MIT informó que había desarrollado una nueva técnica para eliminar el sesgo de los algoritmos sin comprometer la precisión. Pero, ¿es la fijación de algoritmos la mejor manera de combatir la injusticia?

Depende de qué tipo de justicia estemos buscando. Los filósofos morales y políticos a menudo contrastan dos tipos de justicia: procesal y sustantiva. Una política, procedimiento o curso de acción, es justo desde el punto de vista del procedimiento cuando es justo, independientemente de los resultados que cause. La decisión de un árbitro de fútbol puede ser justa, independientemente de cómo afecte el resultado del partido, simplemente porque la decisión se tomó sobre la base de una aplicación imparcial de las reglas. O el trato de un padre hacia sus dos hijos puede ser justo porque no manifiesta parcialidad ni favoritismo, incluso si tiene como resultado que la vida de un hijo sea mucho mejor que la del otro.

Por el contrario, algo que es substancialmente justo produce resultados justos. Supongamos que un árbitro de fútbol concede una penalización leve a un equipo que está 1-0 abajo porque piensa que la ventaja del otro equipo fue el resultado de la pura suerte. Como resultado, el juego termina en un empate a 1-1. Esta decisión parece injusta desde el punto de vista del procedimiento – el árbitro aplica las reglas de manera menos estricta a un equipo que al otro. Pero si un empate refleja el rendimiento relativo de los dos equipos, puede ser substancialmente justo.

Alternativamente, imagínese que una madre y un padre favorecen a niños diferentes. Cada uno de los padres trata injustamente al hijo desfavorecido, en un sentido procesal. Pero si el resultado final es que los dos niños reciben el mismo amor, entonces sus acciones pueden ser substancialmente justas.

¿Qué es justo?

Los investigadores de IA preocupados por la imparcialidad se han centrado, en su mayor parte, en desarrollar algoritmos que sean justos desde el punto de vista del procedimiento, en virtud de las características de los propios algoritmos y no de los efectos de su implementación. ¿Pero qué pasa si lo que realmente importa es la justicia sustantiva?

Por lo general, existe una tensión entre la imparcialidad y la exactitud de los procedimientos: los intentos de lograr las formas más comúnmente defendidas de imparcialidad de los procedimientos aumentan la tasa de error general del algoritmo. Tomemos como ejemplo el algoritmo COMPAS. Si igualáramos las tasas de falsos positivos entre los negros y los blancos ignorando los predictores de la reincidencia que tendían a estar desproporcionadamente en manos de los negros, el resultado probable sería una pérdida en la precisión general, con más personas a las que se les predijo erróneamente que volverían a ofender, o que no lo harían.

Podríamos evitar estas dificultades si nos centráramos en la equidad sustantiva en lugar de la justicia procesal y simplemente diseñáramos algoritmos para maximizar la precisión, a la vez que bloqueáramos o compensáramos cualquier efecto substancialmente injusto que estos algoritmos pudieran tener. Por ejemplo, en lugar de tratar de asegurar que los errores de predicción del crimen afecten por igual a los diferentes grupos raciales -una meta que en cualquier caso puede ser inalcanzable-, podríamos asegurarnos de que estos algoritmos no se utilicen de manera que perjudiquen a los grupos de alto riesgo. Podríamos ofrecer a las personas consideradas de “alto riesgo” tratamientos de rehabilitación en lugar de, digamos, someterlas a más encarcelamiento.

Alternativamente, podríamos tomar medidas para contrarrestar la tendencia de un algoritmo a asignar un riesgo más alto a algunos grupos que a otros, ofreciendo programas de rehabilitación que reduzcan el riesgo preferentemente a las personas de raza negra, por ejemplo.

Apuntar a una equidad sustantiva fuera del diseño del algoritmo dejaría a los diseñadores de algoritmos libres para centrarse en maximizar la precisión, mientras que la justicia se dejaría en manos de los reguladores estatales, con aportaciones expertas y democráticas. Este enfoque ha tenido éxito en otras áreas. En medicina, por ejemplo, los médicos se centran en promover el bienestar de sus pacientes, mientras que los financiadores de la salud y los responsables de la formulación de políticas promueven la asignación justa de los recursos sanitarios entre los pacientes.

En sustancia o procedimiento

Por supuesto, la mayoría de nosotros seríamos reacios a renunciar por completo a la justicia procesal. Si un árbitro penaliza cada infracción menor cometida por un equipo y deja que otro cometa una falta grave, pensaríamos que algo ha salido mal, incluso si gana el equipo adecuado. Si un juez ignora todo lo que el demandado dice y escucha atentamente al demandante, pensaríamos que esto es injusto, incluso si el demandado es un multimillonario del jet-setting que, incluso si es encontrado culpable, estaría mucho mejor que un demandante más meritorio.

Nos preocupamos por la imparcialidad de los procedimientos. Sin embargo, la equidad sustantiva a menudo es más importante – al menos, muchos de nosotros tenemos intuiciones que parecen ser consistentes con esto. Algunos de nosotros pensamos que los presidentes y monarcas deberían tener la discreción de ofrecer indultos a los delincuentes convictos, a pesar de que esto aplica las reglas legales de manera inconsistente, dejando a algunos, pero no a otros, libres de culpa. ¿Por qué pensar que esto está justificado? Tal vez porque los indultos ayudan a garantizar la equidad sustantiva cuando los procesos justos desde el punto de vista de los procedimientos tienen consecuencias injustamente duras.

Muchos de nosotros también pensamos que la acción afirmativa (en USA) está justificada, incluso cuando, a primera vista, parece ser injusta desde el punto de vista del procedimiento, ya que tiene más en cuenta a algunos grupos que a otros. Tal vez toleramos esta injusticia porque, al mitigar los efectos de la opresión del pasado, la acción afirmativa tiende a promover la equidad sustantiva.

Si la equidad sustantiva generalmente importa más que la justicia procesal, contrarrestar los algoritmos sesgados mediante cambios en el diseño algorítmico puede no ser el mejor camino hacia la justicia después de todo.