por Sayash Kapoor y Arvind Narayanan
Muchas personas y organizaciones han defendido que una forma de hacer que la IA sea más segura es la no proliferación, similar a la de las armas nucleares o la clonación humana.
Esto significaría que sólo determinadas empresas y organizaciones autorizadas podrían construir modelos de IA de última generación. El argumento es que esto permitiría al gobierno contener la propagación de modelos de IA perjudiciales, supervisar qué herramientas de IA se construyen y cómo se despliegan, y así poder guiar el desarrollo de la IA de una manera socialmente beneficiosa.
Argumentos similares subyacen en otros intentos de impedir el desarrollo de la IA, por ejemplo, en la carta del Future of Life Institute que aboga por una pausa de seis meses en el entrenamiento de modelos mayores que el GPT-4.
La concesión de licencias es inviable
Si los reguladores se comprometen a no proliferar, ¿cómo lo harían cumplir? No basta con exigir que los desarrolladores obtengan licencias, porque los actores maliciosos pueden simplemente ignorar los requisitos de concesión de licencias y seguir adelante con el entrenamiento de modelos de IA.
Se ha sugerido vigilar los centros de datos donde se entrenan y alojan los modelos. Esta propuesta se basa en el hecho de que la IA requiere muchos recursos informáticos. En teoría, los centros de datos tendrían que informar cuando un cliente utilizara más de un determinado nivel de recursos informáticos, lo que podría dar lugar a una investigación.
Pero a medida que las mejoras algorítmicas y de hardware reducen los costes de entrenamiento de los modelos a un determinado nivel de capacidad, este enfoque requeriría medidas de vigilancia cada vez más draconianas y un nivel de cooperación internacional sin precedentes para ser eficaz. Aunque entrenar modelos de última generación como el GPT-4 es caro, el coste se está reduciendo rápidamente, tanto por la disminución de los costes de hardware como por las mejoras en los algoritmos utilizados para entrenar modelos de IA.
Para ver las tendencias a largo plazo, podemos fijarnos en la visión por ordenador. Entre 2012 y 2019, entrenar un clasificador de reconocimiento de imágenes con el mismo rendimiento se abarató 44 veces.
En el momento de escribir estas líneas, uno de los modelos lingüísticos de código abierto más eficaces, Falcon, ha necesitado menos de 400 GPU y sólo dos meses para entrenarse. Calculamos que un modelo de este tipo puede entrenarse por menos de un millón de dólares.
Además, los conocimientos técnicos necesarios para construir grandes modelos lingüísticos ya están muy extendidos, y existen varios LLM de código abierto desarrollados por organizaciones que comparten todo su código y metodología de entrenamiento. Por estas razones, la no proliferación es inviable desde el punto de vista de la aplicación.
OpenAI y otros han propuesto que sólo se exijan licencias para los modelos más potentes, por encima de un determinado umbral de computación de entrenamiento. Tal vez esto sea más factible, pero, de nuevo, a menos que todos los actores capaces cumplan voluntariamente, el cumplimiento sólo sería posible otorgando a los gobiernos poderes extraordinarios.
Y seamos claros sobre lo que podría conseguirse: Como mucho, ganar unos años de tiempo. Para cualquier umbral de capacidad, es probable que los costes de formación sigan bajando debido a las mejoras tanto del hardware como de los algoritmos. Una vez que los costes sean lo suficientemente bajos, el conjunto de actores que pueden financiar el desarrollo de tales modelos será demasiado elevado para vigilarlo.
La concesión de licencias aumentará la concentración y puede empeorar los riesgos de la IA
A pesar de la proliferación de los propios modelos de IA, un pequeño número de grandes empresas tecnológicas pueden beneficiarse enormemente de la ola de IA generativa: ya sea integrándola en sus aplicaciones (por ejemplo, Google, Microsoft y Apple), vendiendo acceso a API (por ejemplo, OpenAI y Anthropic) o vendiendo hardware (NVIDIA).
Esta concentración perjudica a la competencia. Comprometerse a la no proliferación aumentaría aún más este riesgo, porque sólo un puñado de empresas podría desarrollar IA de vanguardia.
Además, décadas de experiencia en el campo de la seguridad de la información sugieren que es mejor tratar los riesgos de seguridad abiertamente en lugar de “seguridad a través de la oscuridad”. En concreto, la no proliferación y la consiguiente concentración de poder afectarían a cinco grandes riesgos de la IA:
El monocultivo puede agravar los riesgos de seguridad. Cuando miles de aplicaciones funcionan todas con el mismo modelo (GPT-3.5 ya se encuentra en esta situación actualmente), las vulnerabilidades de seguridad de este modelo pueden explotarse en todas estas aplicaciones diferentes.
El monocultivo puede conducir a la homogeneización de los resultados. El uso del mismo modelo de IA en diferentes aplicaciones aumenta la homogeneización, incluso en entornos consecuentes como la selección de currículos. Si un candidato se presenta a varios puestos de trabajo, en lugar de ser evaluado de forma independiente por las distintas empresas, podría ser rechazado en todos ellos si todas las empresas utilizan la misma herramienta de IA para la contratación.
Definir los límites del discurso aceptable. En cierto modo, las aplicaciones de IA generativa son similares a las plataformas de redes sociales en las que la gente genera y consume contenidos. Si la mayoría de la gente utiliza modelos creados por un pequeño grupo de proveedores, estos desarrolladores obtienen un poder desmesurado a la hora de definir las ventanas de Overton del discurso aceptable, gobernando lo que está y no está permitido en las conversaciones.
Influir en actitudes y opiniones. Si la gente utiliza los chatbots como interlocutores, las “opiniones” expresadas por ellos podrían influir masivamente en los puntos de vista de las personas. Así lo demuestra un estudio reciente.
Captura reguladora. La presión que se está ejerciendo en favor de un régimen de licencias puede considerarse captura reguladora. Si tiene éxito, daría a las empresas de IA aún más poder en los debates políticos. En lugar de comprometerse con los argumentos, podrían desestimar a los críticos como extraños desinformados que carecen de conocimientos sobre las capacidades y los riesgos de la IA.
Una forma de evitar la concentración es el desarrollo y la evaluación de modelos de vanguardia por parte de un grupo diverso de académicos, empresas y ONG. Creemos que esta sería la mejor manera de descubrir y abordar los riesgos de la IA. Por supuesto, la IA de código abierto presenta sus propios riesgos y requiere barreras. ¿Cómo podrían ser esas barreras? Pronto compartiremos algunas ideas.
por Sayash Kapoor y Arvind Narayanan
Muchas personas y organizaciones han defendido que una forma de hacer que la IA sea más segura es la no proliferación, similar a la de las armas nucleares o la clonación humana.
Esto significaría que sólo determinadas empresas y organizaciones autorizadas podrían construir modelos de IA de última generación. El argumento es que esto permitiría al gobierno contener la propagación de modelos de IA perjudiciales, supervisar qué herramientas de IA se construyen y cómo se despliegan, y así poder guiar el desarrollo de la IA de una manera socialmente beneficiosa.
Argumentos similares subyacen en otros intentos de impedir el desarrollo de la IA, por ejemplo, en la carta del Future of Life Institute que aboga por una pausa de seis meses en el entrenamiento de modelos mayores que el GPT-4.
La concesión de licencias es inviable
Si los reguladores se comprometen a no proliferar, ¿cómo lo harían cumplir? No basta con exigir que los desarrolladores obtengan licencias, porque los actores maliciosos pueden simplemente ignorar los requisitos de concesión de licencias y seguir adelante con el entrenamiento de modelos de IA.
Se ha sugerido vigilar los centros de datos donde se entrenan y alojan los modelos. Esta propuesta se basa en el hecho de que la IA requiere muchos recursos informáticos. En teoría, los centros de datos tendrían que informar cuando un cliente utilizara más de un determinado nivel de recursos informáticos, lo que podría dar lugar a una investigación.
Pero a medida que las mejoras algorítmicas y de hardware reducen los costes de entrenamiento de los modelos a un determinado nivel de capacidad, este enfoque requeriría medidas de vigilancia cada vez más draconianas y un nivel de cooperación internacional sin precedentes para ser eficaz. Aunque entrenar modelos de última generación como el GPT-4 es caro, el coste se está reduciendo rápidamente, tanto por la disminución de los costes de hardware como por las mejoras en los algoritmos utilizados para entrenar modelos de IA.
Para ver las tendencias a largo plazo, podemos fijarnos en la visión por ordenador. Entre 2012 y 2019, entrenar un clasificador de reconocimiento de imágenes con el mismo rendimiento se abarató 44 veces.
En el momento de escribir estas líneas, uno de los modelos lingüísticos de código abierto más eficaces, Falcon, ha necesitado menos de 400 GPU y sólo dos meses para entrenarse. Calculamos que un modelo de este tipo puede entrenarse por menos de un millón de dólares.
Además, los conocimientos técnicos necesarios para construir grandes modelos lingüísticos ya están muy extendidos, y existen varios LLM de código abierto desarrollados por organizaciones que comparten todo su código y metodología de entrenamiento. Por estas razones, la no proliferación es inviable desde el punto de vista de la aplicación.
OpenAI y otros han propuesto que sólo se exijan licencias para los modelos más potentes, por encima de un determinado umbral de computación de entrenamiento. Tal vez esto sea más factible, pero, de nuevo, a menos que todos los actores capaces cumplan voluntariamente, el cumplimiento sólo sería posible otorgando a los gobiernos poderes extraordinarios.
Y seamos claros sobre lo que podría conseguirse: Como mucho, ganar unos años de tiempo. Para cualquier umbral de capacidad, es probable que los costes de formación sigan bajando debido a las mejoras tanto del hardware como de los algoritmos. Una vez que los costes sean lo suficientemente bajos, el conjunto de actores que pueden financiar el desarrollo de tales modelos será demasiado elevado para vigilarlo.
La concesión de licencias aumentará la concentración y puede empeorar los riesgos de la IA
A pesar de la proliferación de los propios modelos de IA, un pequeño número de grandes empresas tecnológicas pueden beneficiarse enormemente de la ola de IA generativa: ya sea integrándola en sus aplicaciones (por ejemplo, Google, Microsoft y Apple), vendiendo acceso a API (por ejemplo, OpenAI y Anthropic) o vendiendo hardware (NVIDIA).
Esta concentración perjudica a la competencia. Comprometerse a la no proliferación aumentaría aún más este riesgo, porque sólo un puñado de empresas podría desarrollar IA de vanguardia.
Además, décadas de experiencia en el campo de la seguridad de la información sugieren que es mejor tratar los riesgos de seguridad abiertamente en lugar de “seguridad a través de la oscuridad”. En concreto, la no proliferación y la consiguiente concentración de poder afectarían a cinco grandes riesgos de la IA:
El monocultivo puede agravar los riesgos de seguridad. Cuando miles de aplicaciones funcionan todas con el mismo modelo (GPT-3.5 ya se encuentra en esta situación actualmente), las vulnerabilidades de seguridad de este modelo pueden explotarse en todas estas aplicaciones diferentes.
El monocultivo puede conducir a la homogeneización de los resultados. El uso del mismo modelo de IA en diferentes aplicaciones aumenta la homogeneización, incluso en entornos consecuentes como la selección de currículos. Si un candidato se presenta a varios puestos de trabajo, en lugar de ser evaluado de forma independiente por las distintas empresas, podría ser rechazado en todos ellos si todas las empresas utilizan la misma herramienta de IA para la contratación.
Definir los límites del discurso aceptable. En cierto modo, las aplicaciones de IA generativa son similares a las plataformas de redes sociales en las que la gente genera y consume contenidos. Si la mayoría de la gente utiliza modelos creados por un pequeño grupo de proveedores, estos desarrolladores obtienen un poder desmesurado a la hora de definir las ventanas de Overton del discurso aceptable, gobernando lo que está y no está permitido en las conversaciones.
Influir en actitudes y opiniones. Si la gente utiliza los chatbots como interlocutores, las “opiniones” expresadas por ellos podrían influir masivamente en los puntos de vista de las personas. Así lo demuestra un estudio reciente.
Captura reguladora. La presión que se está ejerciendo en favor de un régimen de licencias puede considerarse captura reguladora. Si tiene éxito, daría a las empresas de IA aún más poder en los debates políticos. En lugar de comprometerse con los argumentos, podrían desestimar a los críticos como extraños desinformados que carecen de conocimientos sobre las capacidades y los riesgos de la IA.
Una forma de evitar la concentración es el desarrollo y la evaluación de modelos de vanguardia por parte de un grupo diverso de académicos, empresas y ONG. Creemos que esta sería la mejor manera de descubrir y abordar los riesgos de la IA. Por supuesto, la IA de código abierto presenta sus propios riesgos y requiere barreras. ¿Cómo podrían ser esas barreras? Pronto compartiremos algunas ideas.
Original
Compartir esto: