Modelo de difusión

Un modelo de difusión es el tipo de IA generativa que hay detrás de la mayoría de los generadores de imágenes, como Stable Diffusion, y de muchos generadores de video. Crea una imagen partiendo de puro ruido aleatorio, como la lluvia de un televisor sin señal, y le saca un poco de ese ruido en cada paso hasta que aparece una imagen clara. Una descripción en texto, el prompt, orienta cada paso, así que el ruido se convierte en 'una montaña al amanecer' y no en cualquier otra cosa.

Lo ingenioso está en el entrenamiento. Se toman millones de imágenes con su descripción y se arruina cada una de a poco agregándole ruido, paso a paso, hasta que no queda más que estática. Después se entrena una red neuronal para hacer lo inverso: dada una imagen ruidosa y su descripción, predecir qué ruido se le agregó para poder restarlo. Un modelo que sabe deshacer un pasito de daño puede, repitiéndolo decenas de veces, armar una imagen totalmente nueva a partir de la estática. La forma moderna de este enfoque se planteó en un paper de 2020 sobre difusión con eliminación de ruido, y enseguida superó en calidad a las técnicas anteriores.

Trabajar directo sobre millones de píxeles es lento, así que la mayoría de los sistemas usa difusión latente: primero comprimen las imágenes en una representación interna mucho más chica, hacen ahí la limpieza del ruido y al final expanden el resultado a una imagen completa. El mismo método sirve para video, audio y hasta diseño de proteínas. Como el resultado depende del ruido al azar del que parte, el mismo prompt da una imagen distinta cada vez. Y como estos modelos aprenden de enormes colecciones de imágenes de la web, siguen abiertas las discusiones sobre los derechos de los artistas, los deepfakes y los estereotipos que reproducen.