La BBC experimenta con ‘deep fakes’ para doblar a un presentador en varios idiomas

La BBC publicó esta semana un vídeo en el que su presentador de noticias Matthew Amroliwala aparecía en pantalla hablando en perfecto español, chino mandarín e hundi. Lo curioso del caso es que Amroliwala tan sólo habla inglés, de modo que, ¿qué era lo que estábamos viendo exactamente?

Pues nada menos que un deep fake, la polémica tecnología que empezó a cosechar fama cuando salieron los primeros vídeos pornográficos aparentemente protagonizados por famosas -cuyos rasgos se superponían a los de las actrices originales gracias al uso de inteligencia artificial- y que ahora preocupa sobre todo por su capacidad de erosionar la democracia minando la confianza en los medios de comunicación.

Pero esos mismos medios están descubriendo también usos más benignos y favorables de esta tecnología: la posibilidad de realizar un doblaje optimizado, en el que ni el ojo más experto pueda detectar ningún error en la sincronización entre sonido y labios… porque los labios se adaptarán para ajustarse a la pronunciación.

Esto permitirá que cualquier rostro famoso (desde un actor de Hollywood a cualquier presentador de televisión) puede “hablar” en varios idiomas de forma totalmente transparente para los espectadores.

Cuando el objetivo era acabar con barreras idiomáticas y terminamos me pudiendo confiar en lo que ven nuestros ojos

La BBC recurrió para este experimento a la tecnología de la compañía británica Synthesia, gracias a la cual tan sólo necesitaron grabar un vídeo que registrase todos los movimientos faciales del presentador a doblar, otro leyendo el texto a traducir, y otro más, protagonizado por un doblador, por cada lenguaje al que se quisiera traducir el texto en cuestión.

Una vez recopilado este material, los técnicos de Synthesia entrenaron una red generativa hasta que la enseñaron a producir imágenes fotorrealistas de la cara de Amroliwala, que permitirían dar forma a los ‘deep fakes’ de doblaje.

“Finalmente, para dar vida a la cara digital, tanto la expresión facial como la pista de audio de nuestros colegas del World Service se transfieren a la nueva cara digital, un proceso denominado digital puppeteering“, según explica Ahmed Razek, ingeniero de la BBC.

Según la web de Synthesia, su propósito a la hora de desarrollar esta tecnología de doblaje es el de crear un mundo “sin barreras idiomáticas”, en el que cualquier persona pueda disfrutar de cualquier contenido de vídeo con independencia de su idioma.

Pero Razek llama la atención no ya sobre las posibles falsificaciones más o menos solventes que algún individuo pueda publicar por Internet, sino sobre el poder que esto otorga a los medios de comunicación:

Piensa en esto: ahora tenemos una copia digital y flexible de la cara de Matthew. Podríamos grabar un nuevo video (tal vez en nuestra cocina) e insertar esas palabras en cualquier otra grabación de Matthew, en el estudio o en exteriores Las implicaciones [para la BBC] son serias.

Fuente