Tres partes de texto bosnio. Trece partes en kurdo. Cincuenta y cinco partes en swahili. Once mil partes de inglés.
Esta es parte de la receta de datos para el nuevo gran modelo lingüístico de Facebook, que según la empresa es capaz de detectar y frenar contenidos nocivos en más de 100 idiomas. Bumble utiliza una tecnología similar para detectar mensajes groseros y no deseados en al menos 15 idiomas. Google la utiliza para todo, desde la traducción hasta el filtrado de las secciones de comentarios de los periódicos. Todas tienen recetas comparables y el mismo ingrediente dominante: datos en inglés.
Durante años, las empresas de redes sociales han centrado sus esfuerzos de detección y eliminación automática de contenidos más en los contenidos en inglés que en los otros 7.000 idiomas del mundo. Facebook dejó sin marcar casi el 70% de la desinformación de Covid en italiano y español, frente a sólo el 29% de la desinformación similar en inglés. Documentos filtrados revelan que las publicaciones en árabe se marcan erróneamente como incitación al odio. La escasa moderación de los contenidos en el idioma local ha contribuido a abusos contra los derechos humanos, como el genocidio en Myanmar, la violencia étnica en Etiopía y la desinformación electoral en Brasil. A gran escala, las decisiones de alojar, degradar o retirar contenidos afectan directamente a los derechos fundamentales de las personas, sobre todo de las marginadas, que tienen pocas vías para organizarse o expresarse libremente.
El problema es en parte de voluntad política, pero también es un reto técnico. Crear sistemas capaces de detectar spam, incitación al odio y otros contenidos indeseables en todas las lenguas del mundo ya es difícil. El hecho de que muchas lenguas sean de “escasos recursos”, es decir, que dispongan de pocos datos de texto digitalizados para entrenar a los sistemas automatizados, lo hace aún más difícil. Algunas de estas lenguas de escasos recursos tienen pocos hablantes y usuarios de Internet, pero otras, como el hindi y el indonesio, son habladas por cientos de millones de personas, lo que multiplica los perjuicios creados por sistemas erróneos. Aunque las empresas estuvieran dispuestas a invertir en la creación de algoritmos individuales para cada tipo de contenido nocivo en cada idioma, es posible que no dispusieran de datos suficientes para que esos sistemas funcionaran con eficacia.
Una nueva tecnología denominada “grandes modelos lingüísticos multilingües” ha cambiado radicalmente la forma en que las empresas de redes sociales abordan la moderación de contenidos. Los modelos lingüísticos multilingües -como describimos en un nuevo artículo– son similares a los GPT-4 y otros grandes modelos lingüísticos (LLM), salvo que aprenden reglas lingüísticas más generales entrenándose con textos en docenas o cientos de idiomas diferentes. Están diseñados específicamente para establecer conexiones entre lenguas, lo que les permite extrapolar desde las lenguas para las que tienen muchos datos de entrenamiento, como el inglés, para manejar mejor aquellas para las que tienen menos datos de entrenamiento, como el bosnio.
Estos modelos han demostrado ser capaces de realizar tareas semánticas y sintácticas sencillas en una amplia gama de idiomas, como el análisis sintáctico de la gramática y el análisis del sentimiento, pero no está claro hasta qué punto son capaces de moderar contenidos en idiomas y contextos mucho más específicos, sobre todo en idiomas en los que apenas han recibido formación. Y aparte de alguna que otra entrada de blog autocomplaciente, las empresas de redes sociales han revelado muy poco sobre el funcionamiento de sus sistemas en el mundo real.
¿Por qué los modelos multilingües pueden ser menos capaces de identificar contenidos nocivos de lo que sugieren las empresas de redes sociales?
Una de las razones es la calidad de los datos con los que se entrenan, sobre todo en las lenguas con menos recursos. En los grandes conjuntos de datos de texto que suelen utilizarse para entrenar los modelos multilingües, las lenguas menos representadas son también las que más a menudo contienen textos ofensivos, pornográficos, mal traducidos o simplemente incoherentes. A veces, los desarrolladores intentan compensar la falta de datos rellenando el hueco con texto traducido automáticamente, pero, de nuevo, esto significa que el modelo seguirá teniendo dificultades para entender el lenguaje tal y como lo habla la gente. Por ejemplo, si un modelo lingüístico sólo se ha entrenado con texto traducido automáticamente del inglés al cebuano, lengua hablada por 20 millones de personas en Filipinas, es posible que el modelo no haya visto el término “kuan”, argot utilizado por los hablantes nativos pero que no tiene ningún término comparable en otras lenguas.
Otro reto para los modelos multilingües es la disparidad en la cantidad de datos con los que se entrenan en cada lengua. Cuando analizan contenidos en lenguas para las que tienen menos datos de entrenamiento, los modelos acaban apoyándose en reglas que han inferido sobre las lenguas para las que tienen más datos. Esto dificulta su capacidad para comprender los matices y contextos propios de las lenguas con menos recursos e importa los valores y supuestos codificados en inglés. Uno de los modelos multilingües de Meta, por ejemplo, se entrenó utilizando casi mil veces más texto en inglés que en birmano, amárico o punjabi. Si su comprensión de esas lenguas se refracta a través de la lente del inglés, eso afectará sin duda a su capacidad para detectar contenidos nocivos relacionados con acontecimientos actuales que se desarrollan en esas lenguas, como la crisis de los refugiados rohingya, la guerra de Tigray o las protestas de los agricultores indios.
Por último, aunque un modelo lingüístico multilingüe se entrenara con la misma cantidad de datos de alta calidad en todos los idiomas, seguiría enfrentándose a lo que los informáticos llaman la “maldición del multilingüismo”, es decir, que los idiomas interfieren entre sí en los resultados finales de un modelo. Las distintas lenguas compiten entre sí por un espacio en el mapa lingüístico interno de un modelo multilingüe. Como consecuencia, entrenar un modelo multilingüe con más datos en hindi puede perjudicar su rendimiento en tareas en lenguas etimológicamente distintas como el inglés o el tagalo, y aumentar el número total de lenguas con las que se entrena un modelo puede perjudicar su rendimiento en todas ellas.
En el caso de la moderación de contenidos, esto plantea cuestiones difíciles sobre qué idiomas deben priorizar las empresas de redes sociales y qué objetivos deben perseguir estos modelos. ¿Deben los modelos lingüísticos multilingües intentar alcanzar el mismo rendimiento en todas las lenguas? ¿Priorizar las que tienen más hablantes? ¿Las que se enfrentan a mayores problemas de moderación de contenidos? ¿Y quién decide cuáles son las crisis más graves?
Los modelos lingüísticos multilingües prometen llevar la potencia analítica de los LLM a todas las lenguas del mundo, pero aún no está claro si sus capacidades se extienden a la detección de contenidos nocivos. Lo que es nocivo no parece ser fácilmente identificable en todas las lenguas y contextos lingüísticos. Para garantizar que estos modelos no tengan efectos dispares en las distintas comunidades lingüísticas, las empresas de redes sociales deben ofrecer más información sobre su funcionamiento.
Como mínimo, las empresas deben compartir información sobre qué productos utilizan estos modelos, en qué tipo de contenidos y en qué idiomas. Las empresas también deberían compartir métricas básicas sobre el rendimiento de los modelos lingüísticos en cada idioma y más información sobre los datos de entrenamiento que utilizan, para que los investigadores puedan evaluar esos conjuntos de datos en busca de sesgos y comprender el equilibrio que la empresa está estableciendo entre los distintos idiomas. Aunque las empresas más grandes, como Facebook y Google, ponen a disposición del público versiones de sus modelos lingüísticos para que las utilicen los investigadores e incluso otras empresas, a menudo no dicen cómo se relacionan o diferencian esos sistemas disponibles públicamente de los utilizados en sus propios productos. Estas aproximaciones no son suficientes: las empresas también deberían compartir información sobre los modelos lingüísticos reales que utilizan para la moderación de contenidos.
Las empresas de redes sociales también deben tener en cuenta que un planteamiento mejor puede no ser utilizar un gran modelo multilingüe, sino varios modelos más pequeños y más adaptados a lenguas y familias lingüísticas concretas. El modelo AfroLM de Lelapa, por ejemplo, está entrenado en 23 lenguas africanas diferentes y es capaz de superar a modelos multilingües más grandes en esas lenguas. Las comunidades de investigadores de todo el mundo se esfuerzan por averiguar qué tipo de modelos lingüísticos funcionan mejor en sus propias lenguas. Las empresas de medios sociales deberían aprovechar no sólo su trabajo técnico, sino también su experiencia en el contexto lingüístico local.
Como solución, los modelos lingüísticos multilingües corren el riesgo de ser una tirita del tamaño del “resto del mundo” para un problema dinámico. Ofreciendo más transparencia y responsabilidad, dando prioridad al rendimiento de cada lengua por encima de la escalabilidad y consultando a las comunidades lingüísticas, las empresas pueden empezar a desmontar ese planteamiento.
Tres partes de texto bosnio. Trece partes en kurdo. Cincuenta y cinco partes en swahili. Once mil partes de inglés.
Esta es parte de la receta de datos para el nuevo gran modelo lingüístico de Facebook, que según la empresa es capaz de detectar y frenar contenidos nocivos en más de 100 idiomas. Bumble utiliza una tecnología similar para detectar mensajes groseros y no deseados en al menos 15 idiomas. Google la utiliza para todo, desde la traducción hasta el filtrado de las secciones de comentarios de los periódicos. Todas tienen recetas comparables y el mismo ingrediente dominante: datos en inglés.
Durante años, las empresas de redes sociales han centrado sus esfuerzos de detección y eliminación automática de contenidos más en los contenidos en inglés que en los otros 7.000 idiomas del mundo. Facebook dejó sin marcar casi el 70% de la desinformación de Covid en italiano y español, frente a sólo el 29% de la desinformación similar en inglés. Documentos filtrados revelan que las publicaciones en árabe se marcan erróneamente como incitación al odio. La escasa moderación de los contenidos en el idioma local ha contribuido a abusos contra los derechos humanos, como el genocidio en Myanmar, la violencia étnica en Etiopía y la desinformación electoral en Brasil. A gran escala, las decisiones de alojar, degradar o retirar contenidos afectan directamente a los derechos fundamentales de las personas, sobre todo de las marginadas, que tienen pocas vías para organizarse o expresarse libremente.
El problema es en parte de voluntad política, pero también es un reto técnico. Crear sistemas capaces de detectar spam, incitación al odio y otros contenidos indeseables en todas las lenguas del mundo ya es difícil. El hecho de que muchas lenguas sean de “escasos recursos”, es decir, que dispongan de pocos datos de texto digitalizados para entrenar a los sistemas automatizados, lo hace aún más difícil. Algunas de estas lenguas de escasos recursos tienen pocos hablantes y usuarios de Internet, pero otras, como el hindi y el indonesio, son habladas por cientos de millones de personas, lo que multiplica los perjuicios creados por sistemas erróneos. Aunque las empresas estuvieran dispuestas a invertir en la creación de algoritmos individuales para cada tipo de contenido nocivo en cada idioma, es posible que no dispusieran de datos suficientes para que esos sistemas funcionaran con eficacia.
Una nueva tecnología denominada “grandes modelos lingüísticos multilingües” ha cambiado radicalmente la forma en que las empresas de redes sociales abordan la moderación de contenidos. Los modelos lingüísticos multilingües -como describimos en un nuevo artículo– son similares a los GPT-4 y otros grandes modelos lingüísticos (LLM), salvo que aprenden reglas lingüísticas más generales entrenándose con textos en docenas o cientos de idiomas diferentes. Están diseñados específicamente para establecer conexiones entre lenguas, lo que les permite extrapolar desde las lenguas para las que tienen muchos datos de entrenamiento, como el inglés, para manejar mejor aquellas para las que tienen menos datos de entrenamiento, como el bosnio.
Estos modelos han demostrado ser capaces de realizar tareas semánticas y sintácticas sencillas en una amplia gama de idiomas, como el análisis sintáctico de la gramática y el análisis del sentimiento, pero no está claro hasta qué punto son capaces de moderar contenidos en idiomas y contextos mucho más específicos, sobre todo en idiomas en los que apenas han recibido formación. Y aparte de alguna que otra entrada de blog autocomplaciente, las empresas de redes sociales han revelado muy poco sobre el funcionamiento de sus sistemas en el mundo real.
¿Por qué los modelos multilingües pueden ser menos capaces de identificar contenidos nocivos de lo que sugieren las empresas de redes sociales?
Una de las razones es la calidad de los datos con los que se entrenan, sobre todo en las lenguas con menos recursos. En los grandes conjuntos de datos de texto que suelen utilizarse para entrenar los modelos multilingües, las lenguas menos representadas son también las que más a menudo contienen textos ofensivos, pornográficos, mal traducidos o simplemente incoherentes. A veces, los desarrolladores intentan compensar la falta de datos rellenando el hueco con texto traducido automáticamente, pero, de nuevo, esto significa que el modelo seguirá teniendo dificultades para entender el lenguaje tal y como lo habla la gente. Por ejemplo, si un modelo lingüístico sólo se ha entrenado con texto traducido automáticamente del inglés al cebuano, lengua hablada por 20 millones de personas en Filipinas, es posible que el modelo no haya visto el término “kuan”, argot utilizado por los hablantes nativos pero que no tiene ningún término comparable en otras lenguas.
Otro reto para los modelos multilingües es la disparidad en la cantidad de datos con los que se entrenan en cada lengua. Cuando analizan contenidos en lenguas para las que tienen menos datos de entrenamiento, los modelos acaban apoyándose en reglas que han inferido sobre las lenguas para las que tienen más datos. Esto dificulta su capacidad para comprender los matices y contextos propios de las lenguas con menos recursos e importa los valores y supuestos codificados en inglés. Uno de los modelos multilingües de Meta, por ejemplo, se entrenó utilizando casi mil veces más texto en inglés que en birmano, amárico o punjabi. Si su comprensión de esas lenguas se refracta a través de la lente del inglés, eso afectará sin duda a su capacidad para detectar contenidos nocivos relacionados con acontecimientos actuales que se desarrollan en esas lenguas, como la crisis de los refugiados rohingya, la guerra de Tigray o las protestas de los agricultores indios.
Por último, aunque un modelo lingüístico multilingüe se entrenara con la misma cantidad de datos de alta calidad en todos los idiomas, seguiría enfrentándose a lo que los informáticos llaman la “maldición del multilingüismo”, es decir, que los idiomas interfieren entre sí en los resultados finales de un modelo. Las distintas lenguas compiten entre sí por un espacio en el mapa lingüístico interno de un modelo multilingüe. Como consecuencia, entrenar un modelo multilingüe con más datos en hindi puede perjudicar su rendimiento en tareas en lenguas etimológicamente distintas como el inglés o el tagalo, y aumentar el número total de lenguas con las que se entrena un modelo puede perjudicar su rendimiento en todas ellas.
En el caso de la moderación de contenidos, esto plantea cuestiones difíciles sobre qué idiomas deben priorizar las empresas de redes sociales y qué objetivos deben perseguir estos modelos. ¿Deben los modelos lingüísticos multilingües intentar alcanzar el mismo rendimiento en todas las lenguas? ¿Priorizar las que tienen más hablantes? ¿Las que se enfrentan a mayores problemas de moderación de contenidos? ¿Y quién decide cuáles son las crisis más graves?
Los modelos lingüísticos multilingües prometen llevar la potencia analítica de los LLM a todas las lenguas del mundo, pero aún no está claro si sus capacidades se extienden a la detección de contenidos nocivos. Lo que es nocivo no parece ser fácilmente identificable en todas las lenguas y contextos lingüísticos. Para garantizar que estos modelos no tengan efectos dispares en las distintas comunidades lingüísticas, las empresas de redes sociales deben ofrecer más información sobre su funcionamiento.
Como mínimo, las empresas deben compartir información sobre qué productos utilizan estos modelos, en qué tipo de contenidos y en qué idiomas. Las empresas también deberían compartir métricas básicas sobre el rendimiento de los modelos lingüísticos en cada idioma y más información sobre los datos de entrenamiento que utilizan, para que los investigadores puedan evaluar esos conjuntos de datos en busca de sesgos y comprender el equilibrio que la empresa está estableciendo entre los distintos idiomas. Aunque las empresas más grandes, como Facebook y Google, ponen a disposición del público versiones de sus modelos lingüísticos para que las utilicen los investigadores e incluso otras empresas, a menudo no dicen cómo se relacionan o diferencian esos sistemas disponibles públicamente de los utilizados en sus propios productos. Estas aproximaciones no son suficientes: las empresas también deberían compartir información sobre los modelos lingüísticos reales que utilizan para la moderación de contenidos.
Las empresas de redes sociales también deben tener en cuenta que un planteamiento mejor puede no ser utilizar un gran modelo multilingüe, sino varios modelos más pequeños y más adaptados a lenguas y familias lingüísticas concretas. El modelo AfroLM de Lelapa, por ejemplo, está entrenado en 23 lenguas africanas diferentes y es capaz de superar a modelos multilingües más grandes en esas lenguas. Las comunidades de investigadores de todo el mundo se esfuerzan por averiguar qué tipo de modelos lingüísticos funcionan mejor en sus propias lenguas. Las empresas de medios sociales deberían aprovechar no sólo su trabajo técnico, sino también su experiencia en el contexto lingüístico local.
Como solución, los modelos lingüísticos multilingües corren el riesgo de ser una tirita del tamaño del “resto del mundo” para un problema dinámico. Ofreciendo más transparencia y responsabilidad, dando prioridad al rendimiento de cada lengua por encima de la escalabilidad y consultando a las comunidades lingüísticas, las empresas pueden empezar a desmontar ese planteamiento.
Original
Compartir esto: