El 8 de junio de 2019 se cumplieron setenta años de la publicación de 1984, la novela distópica por excelencia. Escrita por Eric Arthur Blair, nombre real de George Orwell, describe una sociedad futura en la que un régimen totalitario controla todos los aspectos de la vida a través de la vigilancia continua. Un escenario dantesco que tuvo un fuerte impacto en plena Guerra Fría, pero que pervive por su inspirada capacidad de anticipar fenómenos como la posverdad, la videovigilancia y, de manera más sutil, formas de aprendizaje de máquinas e inteligencia artificial.
El rastro de las emociones
A la espalda de Winston, la voz de la telepantalla seguía murmurando datos sobre el hierro y el cumplimiento del noveno Plan Trienal. La telepantalla recibía y transmitía simultáneamente. Cualquier sonido que hiciera Winston superior a un susurro, era captado por el aparato. Además, mientras permaneciera dentro del radio de visión de la placa de metal, podía ser visto a la vez que oído. Por supuesto, no había manera de saber si le contemplaban a uno en un momento dado. Lo único posible era figurarse la frecuencia y el plan que empleaba la Policía del Pensamiento para controlar un hilo privado. Incluso se concebía que los vigilaran a todos a la vez. Pero, desde luego, podían intervenir la línea de usted cada vez que se les antojara. Tenía usted que vivir –y en esto el hábito se convertía en un instinto– con la seguridad de que cualquier sonido emitido sería registrado y escuchado por alguien y que, excepto en la oscuridad, todos sus movimientos serían observados. [1]
George Orwell escribió 1984 en la isla de Jura, Escocia, entre 1947 y 1948. A mediados del siglo xx la televisión todavía era un medio minoritario, y las cámaras de videovigilancia no se comercializaron en Estados Unidos hasta 1949, apenas un año antes de la muerte del escritor. Sin embargo, la novela anticipa una proliferación masiva de pantallas, que todavía hoy se extiende, desde los multicines hasta el reloj inteligente. Las telepantallas de 1984 –vagamente descritas como «una placa oblonga de metal, una especie de espejo empañado»– son aparatos bidireccionales, que emiten mensajes pero a la vez captan los sonidos y expresiones faciales más sutiles. Dispositivos ubicuos e implacables, pues registran desde «una inconsciente mirada de inquietud» hasta un tic nervioso o incluso el ruido intestinal.
Pese a que los recelos hacia la videovigilancia no son nuevos, es sorprendente contrastar cómo los recientes desarrollos en el campo de la inteligencia artificial nos acercan a escenarios como los descritos en 1984. Los más obvios son los de los sistemas de reconocimiento facial, programas informáticos capaces de identificar a una persona en imágenes o vídeos y asociar su rostro a bases de datos preexistentes, como ficheros policiales, hábitos de consumo de Internet, publicaciones en redes sociales, etc. Una tecnología que es legal, barata y accesible, tal y como demostró un reportaje de The New York Times en el que uno de sus editores construye un sistema de este tipo, plenamente funcional, por apenas sesenta dólares.
El temor al potencial de estas herramientas ya ha llevado a la ciudad de San Francisco a prohibir su uso a la policía y otras instituciones públicas. «Podemos tener una buena vigilancia sin ser un estado policial», argumentó Aaron Peskin, el político que abanderó la medida, «y construir una confianza basada en una buena información comunitaria, no en la tecnología del Gran Hermano». Un debate que queda lejos en otros lugares del mundo, como en China, donde el gobierno de Xi Jinping está sentando las bases para un control tecnológico casi universal.
CC-BY-NC Martín López, 2019
Del Gran Timonel al Gran Hermano
Si bien el reconocimiento facial y otras tecnologías empiezan a ponerse en duda en Estados Unidos, su uso en China está tomando un carácter perturbador. Los avances en macrodatos e inteligencia artificial, combinados con la extensa red de cámaras de videovigilancia ya presente en el país, son un campo abonado para el testeo y la implementación de experimentos avanzados de control social. El más emblemático es el llamado Sistema de Crédito Social. Aún en periodo de pruebas, aspira a combinar toda la información personal y de comportamiento de la población y las empresas para asignarles un nivel de confianza, que luego se puede reducir o incrementar. Donar dinero a una ONG suma puntos, del mismo modo que cuidar a personas mayores o dejar en buen estado una habitación de hotel. En cambio, no pagar una multa los resta, pero también puede hacerlo comportarse mal en el transporte público o fumar en un hospital.
Un buen crédito social puede significar rebajas en las facturas o usar ciertos servicios sin tener que dejar fianza, por ejemplo. Uno bajo, puede penalizarse con un acceso limitado a préstamos bancarios o a buenas escuelas para la familia, entre muchas otras posibilidades. En el peor de los casos, y para aquellos comportamientos que el gobierno considere especialmente perjudiciales, se puede entrar en una lista negra con mayores restricciones, como no poder comprar billetes de avión o adquirir una propiedad. Cómo se ingresa y se sale de esas listas es una incógnita, sobre todo teniendo en cuenta que el sistema judicial chino no es independiente en términos de estándares internacionales. Por este motivo, algunas personas se encuentran en callejones legales, con la sensación de que, parafraseando a Winston Smith de 1984, «nada es ilegal porque no existen las leyes».
Las voces defensoras del Sistema de Crédito Social argumentan que en realidad recompensa a las personas y empresas que contribuyen al bien social. No obstante, la sola existencia de un dispositivo de este calado implica una recolección masiva de datos que necesariamente invade todos los aspectos de la vida personal. Un acopio de información que combina registros gubernamentales previos, el rastreo por parte de empresas proveedoras de Internet y sistemas de vigilancia cada vez más sofisticados, entrenados para reconocer rostros, voces e incluso los andares de la población.
La cárcel perfecta
Pese a que la novela de Orwell no describe un sistema de reputación como el chino, sí plantea un futuro en el que, además de castigar las infracciones, se premia la corrección social. Así, es bueno celebrar las victorias del Gran Hermano, delatar a traidores, mostrar odio público hacia el enemigo o unirse a la Liga Juvenil Anti-Sex. Si cada persona tiene «la seguridad de que cualquier sonido emitido sería registrado y escuchado por alguien», la única solución para sobrevivir es modificar la forma de actuar, tanto pública como privada.
Entre los autores que han estudiado los efectos sociales de la vigilancia destaca Michel Foucault, con su revisión, en los años setenta, del concepto de «panóptico». El panóptico, recordémoslo, es una estructura arquitectónica para cárceles ideada por Jeremy Bentham que permite a los vigilantes observar a los presos en todo momento. Estos, a su tiempo, viven siendo conscientes de que son examinados, pero nunca saben exactamente cuándo. Para Foucault, esta construcción es el ejemplo de sistema disciplinario perfecto, cuya filosofía se ha extendido a toda la sociedad gracias a instituciones correctivas como escuelas u hospitales. La sociedad panóptica aísla a las personas para analizarlas individualmente y de manera constante; un mecanismo que permite «ver sin cesar y reconocer inmediatamente». Su mayor efecto es inducir a cada persona a «un estado consciente y permanente de visibilidad que garantice el funcionamiento automático del poder». Como en el caso de un preso, «lo esencial es que se sepa vigilado; demasiado, porque no tiene necesidad de serlo efectivamente».
Poco hay que añadir a las palabras de Foucault vistas desde la perspectiva de 1984, un relato que centra su tensión narrativa en una sensación asfixiante de control. Desgraciadamente, tampoco es complicado encontrar paralelismos entre esta obra y un mundo que ya conoce las revelaciones de Edward Snowden. Recordemos que en 2013 este exanalista de la agencia de seguridad de Estados Unidos confirmó la sospecha de que su gobierno y el de otros países recopilaron datos de miles de millones de personas de manera masiva, incluyendo comunicaciones de jefes de estado.
CC-BY-NC Martín López, 2019
Sospechas de futuro
Pese a que Orwell fue un autor reconocido en vida, no vivió para ver el éxito de su última novela. Murió de tuberculosis en Londres en 1950, apenas unos meses después de que la obra se publicara. Eso también le impidió comprobar cómo algunas de sus predicciones se acercan cada vez más a la realidad. Además de vivir rodeados de telepantallas, los personajes de la novela trabajan con un hablescribe, un aparato al que se dictan textos, parecido a los sistemas actuales de reconocimiento de voz. El autor intuyó incluso la creatividad automatizada, ilustrada por artilugios como el versificador, que combina rimas para crear canciones sin intervención humana.
Curiosamente, tanto las invenciones como los escenarios ideados por Orwell tienen que ver con el uso perverso de máquinas o con su potencial para anular a la humanidad. Un temor tan ancestral como el mito de Prometeo, pero que se conecta con los dilemas que genera la aceleración tecnológica actual. ¿En qué momento una innovación provoca un cambio político y cultural? ¿Tenemos en cuenta el impacto social de la tecnología? ¿Qué trae consigo una sociedad enteramente basada en la comunicación interpersonal?
Isaac Asimov dijo de 1984 que era una novela más comentada que leída. Es algo que solo puede ocurrir cuando un relato se convierte en icono de la cultura popular. Una condición que no parece tener fecha de caducidad en el caso de Orwell, ya que trazó una buena metáfora de los totalitarismos del siglo xx que también es útil para analizar los aspectos más polémicos de la revolución digital.
[1] Traducción de Miguel Temprano García.
El 8 de junio de 2019 se cumplieron setenta años de la publicación de 1984, la novela distópica por excelencia. Escrita por Eric Arthur Blair, nombre real de George Orwell, describe una sociedad futura en la que un régimen totalitario controla todos los aspectos de la vida a través de la vigilancia continua. Un escenario dantesco que tuvo un fuerte impacto en plena Guerra Fría, pero que pervive por su inspirada capacidad de anticipar fenómenos como la posverdad, la videovigilancia y, de manera más sutil, formas de aprendizaje de máquinas e inteligencia artificial.
El rastro de las emociones
A la espalda de Winston, la voz de la telepantalla seguía murmurando datos sobre el hierro y el cumplimiento del noveno Plan Trienal. La telepantalla recibía y transmitía simultáneamente. Cualquier sonido que hiciera Winston superior a un susurro, era captado por el aparato. Además, mientras permaneciera dentro del radio de visión de la placa de metal, podía ser visto a la vez que oído. Por supuesto, no había manera de saber si le contemplaban a uno en un momento dado. Lo único posible era figurarse la frecuencia y el plan que empleaba la Policía del Pensamiento para controlar un hilo privado. Incluso se concebía que los vigilaran a todos a la vez. Pero, desde luego, podían intervenir la línea de usted cada vez que se les antojara. Tenía usted que vivir –y en esto el hábito se convertía en un instinto– con la seguridad de que cualquier sonido emitido sería registrado y escuchado por alguien y que, excepto en la oscuridad, todos sus movimientos serían observados. [1]
George Orwell escribió 1984 en la isla de Jura, Escocia, entre 1947 y 1948. A mediados del siglo xx la televisión todavía era un medio minoritario, y las cámaras de videovigilancia no se comercializaron en Estados Unidos hasta 1949, apenas un año antes de la muerte del escritor. Sin embargo, la novela anticipa una proliferación masiva de pantallas, que todavía hoy se extiende, desde los multicines hasta el reloj inteligente. Las telepantallas de 1984 –vagamente descritas como «una placa oblonga de metal, una especie de espejo empañado»– son aparatos bidireccionales, que emiten mensajes pero a la vez captan los sonidos y expresiones faciales más sutiles. Dispositivos ubicuos e implacables, pues registran desde «una inconsciente mirada de inquietud» hasta un tic nervioso o incluso el ruido intestinal.
Pese a que los recelos hacia la videovigilancia no son nuevos, es sorprendente contrastar cómo los recientes desarrollos en el campo de la inteligencia artificial nos acercan a escenarios como los descritos en 1984. Los más obvios son los de los sistemas de reconocimiento facial, programas informáticos capaces de identificar a una persona en imágenes o vídeos y asociar su rostro a bases de datos preexistentes, como ficheros policiales, hábitos de consumo de Internet, publicaciones en redes sociales, etc. Una tecnología que es legal, barata y accesible, tal y como demostró un reportaje de The New York Times en el que uno de sus editores construye un sistema de este tipo, plenamente funcional, por apenas sesenta dólares.
El temor al potencial de estas herramientas ya ha llevado a la ciudad de San Francisco a prohibir su uso a la policía y otras instituciones públicas. «Podemos tener una buena vigilancia sin ser un estado policial», argumentó Aaron Peskin, el político que abanderó la medida, «y construir una confianza basada en una buena información comunitaria, no en la tecnología del Gran Hermano». Un debate que queda lejos en otros lugares del mundo, como en China, donde el gobierno de Xi Jinping está sentando las bases para un control tecnológico casi universal.
CC-BY-NC Martín López, 2019
Del Gran Timonel al Gran Hermano
Si bien el reconocimiento facial y otras tecnologías empiezan a ponerse en duda en Estados Unidos, su uso en China está tomando un carácter perturbador. Los avances en macrodatos e inteligencia artificial, combinados con la extensa red de cámaras de videovigilancia ya presente en el país, son un campo abonado para el testeo y la implementación de experimentos avanzados de control social. El más emblemático es el llamado Sistema de Crédito Social. Aún en periodo de pruebas, aspira a combinar toda la información personal y de comportamiento de la población y las empresas para asignarles un nivel de confianza, que luego se puede reducir o incrementar. Donar dinero a una ONG suma puntos, del mismo modo que cuidar a personas mayores o dejar en buen estado una habitación de hotel. En cambio, no pagar una multa los resta, pero también puede hacerlo comportarse mal en el transporte público o fumar en un hospital.
Un buen crédito social puede significar rebajas en las facturas o usar ciertos servicios sin tener que dejar fianza, por ejemplo. Uno bajo, puede penalizarse con un acceso limitado a préstamos bancarios o a buenas escuelas para la familia, entre muchas otras posibilidades. En el peor de los casos, y para aquellos comportamientos que el gobierno considere especialmente perjudiciales, se puede entrar en una lista negra con mayores restricciones, como no poder comprar billetes de avión o adquirir una propiedad. Cómo se ingresa y se sale de esas listas es una incógnita, sobre todo teniendo en cuenta que el sistema judicial chino no es independiente en términos de estándares internacionales. Por este motivo, algunas personas se encuentran en callejones legales, con la sensación de que, parafraseando a Winston Smith de 1984, «nada es ilegal porque no existen las leyes».
Las voces defensoras del Sistema de Crédito Social argumentan que en realidad recompensa a las personas y empresas que contribuyen al bien social. No obstante, la sola existencia de un dispositivo de este calado implica una recolección masiva de datos que necesariamente invade todos los aspectos de la vida personal. Un acopio de información que combina registros gubernamentales previos, el rastreo por parte de empresas proveedoras de Internet y sistemas de vigilancia cada vez más sofisticados, entrenados para reconocer rostros, voces e incluso los andares de la población.
La cárcel perfecta
Pese a que la novela de Orwell no describe un sistema de reputación como el chino, sí plantea un futuro en el que, además de castigar las infracciones, se premia la corrección social. Así, es bueno celebrar las victorias del Gran Hermano, delatar a traidores, mostrar odio público hacia el enemigo o unirse a la Liga Juvenil Anti-Sex. Si cada persona tiene «la seguridad de que cualquier sonido emitido sería registrado y escuchado por alguien», la única solución para sobrevivir es modificar la forma de actuar, tanto pública como privada.
Entre los autores que han estudiado los efectos sociales de la vigilancia destaca Michel Foucault, con su revisión, en los años setenta, del concepto de «panóptico». El panóptico, recordémoslo, es una estructura arquitectónica para cárceles ideada por Jeremy Bentham que permite a los vigilantes observar a los presos en todo momento. Estos, a su tiempo, viven siendo conscientes de que son examinados, pero nunca saben exactamente cuándo. Para Foucault, esta construcción es el ejemplo de sistema disciplinario perfecto, cuya filosofía se ha extendido a toda la sociedad gracias a instituciones correctivas como escuelas u hospitales. La sociedad panóptica aísla a las personas para analizarlas individualmente y de manera constante; un mecanismo que permite «ver sin cesar y reconocer inmediatamente». Su mayor efecto es inducir a cada persona a «un estado consciente y permanente de visibilidad que garantice el funcionamiento automático del poder». Como en el caso de un preso, «lo esencial es que se sepa vigilado; demasiado, porque no tiene necesidad de serlo efectivamente».
Poco hay que añadir a las palabras de Foucault vistas desde la perspectiva de 1984, un relato que centra su tensión narrativa en una sensación asfixiante de control. Desgraciadamente, tampoco es complicado encontrar paralelismos entre esta obra y un mundo que ya conoce las revelaciones de Edward Snowden. Recordemos que en 2013 este exanalista de la agencia de seguridad de Estados Unidos confirmó la sospecha de que su gobierno y el de otros países recopilaron datos de miles de millones de personas de manera masiva, incluyendo comunicaciones de jefes de estado.
CC-BY-NC Martín López, 2019
Sospechas de futuro
Pese a que Orwell fue un autor reconocido en vida, no vivió para ver el éxito de su última novela. Murió de tuberculosis en Londres en 1950, apenas unos meses después de que la obra se publicara. Eso también le impidió comprobar cómo algunas de sus predicciones se acercan cada vez más a la realidad. Además de vivir rodeados de telepantallas, los personajes de la novela trabajan con un hablescribe, un aparato al que se dictan textos, parecido a los sistemas actuales de reconocimiento de voz. El autor intuyó incluso la creatividad automatizada, ilustrada por artilugios como el versificador, que combina rimas para crear canciones sin intervención humana.
Curiosamente, tanto las invenciones como los escenarios ideados por Orwell tienen que ver con el uso perverso de máquinas o con su potencial para anular a la humanidad. Un temor tan ancestral como el mito de Prometeo, pero que se conecta con los dilemas que genera la aceleración tecnológica actual. ¿En qué momento una innovación provoca un cambio político y cultural? ¿Tenemos en cuenta el impacto social de la tecnología? ¿Qué trae consigo una sociedad enteramente basada en la comunicación interpersonal?
Isaac Asimov dijo de 1984 que era una novela más comentada que leída. Es algo que solo puede ocurrir cuando un relato se convierte en icono de la cultura popular. Una condición que no parece tener fecha de caducidad en el caso de Orwell, ya que trazó una buena metáfora de los totalitarismos del siglo xx que también es útil para analizar los aspectos más polémicos de la revolución digital.
[1] Traducción de Miguel Temprano García.
Fuente: CCBLAB
Compartir esto: