La mejor IA para imagen: Stable Diffusion XL

La IA ha supuesto una revolución sin precedentes en la creatividad audiovisual. Tenemos a día de hoy exponentes en el ámbito del sonido, como MusicLM de Google, que permite generar música solo con el texto que tú le pongas, o Adobe Podcast, que permite limpiar fuentes de sonido con voz para que parezca que la has grabado en un estudio. Una auténtica pasada.

Dentro del vídeo tenemos no solo herramientas como la reiluminación, los mapas de profundidad o las máscaras mágicas en DaVinci Resolve, sino que también la IA generativa empieza a meter la patita con herramientas como Kaiber.ai, capaz de reinterpretar figuras humanas con estilos diferentes.

Pero creo que ha sido dentro de la imagen y la conversación donde la IA ha irrumpido con más fuerza, supongo que por lo vistoso de los resultados en estos tiempos de viralidad arrolladora. En este artículo voy a centrarme en la IA para imagen, ya que en el caso del vídeo y el audio todavía están más centrados en la corrección y mejora que en la IA generativa, propiamente dicha. Hay por ahí algunas herramientas muy prometedoras que tienen aún algunos flecos por recortar, pero de las que hablaremos muy pronto en Creatubers cuando se encuentren más maduras.

Así son Stable Diffusion XL y Clipdrop

En el caso de la imagen, los tres principales contendientes ahora mismo son Stable Diffusion, de Stability.AI, Firefly, de Adobe, y Midjourney. Lo que diferencia a estos modelos es que Stable Diffusion es de código abierto y cualquiera puede instalarlo en su equipo sin ningún coste, mientras que Midjourney y Firefly son privativos, lo cual lógicamente ha hecho que la comunidad esté mucho más volcada en el primero para mejorarla y sacarle más partido.

Y seguro te preguntarás, ¿pero cómo se financia una cosa tan compleja como una IA si es de código abierto? Pues como hacen todas las fundaciones y empresas que tienen dos dedos de frente: con herramientas y servicios de pago para empresas o usuarios que no quieren complicarse la vida.

En el caso de Stability.Ai tenemos una auténtica barbaridad llamada Clipdrop, y esto, ya te digo de antemano, no es una mención pagada. Clipdrop es una “suite online” que ofrece herramientas en modalidad gratuita y de pago para hacer cosas alucinantes con la imagen:

• Expansión de imágenes, para generar lo que hay alrededor de una imagen que tengamos
• Creación de variantes de una misma imagen
• Creación de imágenes desde garabatos
• Eliminación de objetos y de personas
• Eliminación y sustitución de fondos
• Reiluminación, sí, como lo que ya vimos en DaVinci Resolve
• Reescalado de imagen
• Eliminación de textos

Todo esto es por ahora, porque Clipdrop no para de mejorar y añadir funcionalidades. Como sé que aquí lo que nos interesa es qué podemos hacer sin tocar el bolsillo, allá que vamos.

Con la versión gratuita tendremos acceso a un número menor de imágenes por día en algunas funciones y también a una resolución más limitada en otras funciones. Por ejemplo, solo podremos acceder a 400 imágenes al día de Stable Diffusion XL y 100 imágenes al día para expandirlas. Además, muchas de estas funciones nos pondrán una marca de agua.

Por su parte, en la modalidad Pro, que cuesta 9 euros si se paga mes a mes o 7 euros si se paga anualmente, tendremos alta resolución, un mayor número de imágenes al día, no se aplicará marca de agua y nos saltaremos las molestas colas a la hora de ejecutar las funciones.

Estas se ofrecen tanto en la app de Clipdrop, disponible para iOS y Android, como en un editor web online, sin instalar nada. Además, todas estas y alguna función extra más se ofrece también en su API, y es que podemos conectar Clipdrop a programas de retoque fotográfico compatibles o incluso crear nuestra propia página web revendiendo lo que nos ofrece esta suite. ¿Por qué no?

Stable Diffusion no es la única opción

Aunque es la más avanzada, Stable Diffusion y Clipdrop no es la única herramienta que usa IA. Aparte de Midjourney, especializada en generación de imágenes, tenemos Adobe Firefly.

Este es un caso particular, porque funciona de manera similar a Clipdrop, pero a fecha de hoy aún se encuentra en estado Beta y por ahora es gratuita. Digo por ahora porque Adobe está ahora mismo en modo Monstruo de las galletas y su política es “me quiero alimentar de todo lo que pueda para afinar mi IA”, así que ha abierto su tecnología para que todo el mundo pueda colaborar a cambio de unas risas y de alguna que otra utilidad.

Firefly por ahora ofrece texto a imagen al estilo Stable Diffusion, efectos de texto, colores de reemplazo, 3D a imagen con la ayuda de texto, ampliación de imagen, al estilo Uncrop y la herramienta más interesante, relleno generativo. Esta última se ha vuelto bastante viral no solo por lo vistoso que es sino también por sus aplicaciones, como por ejemplo usarla para cambiar el set de tus vídeos con este tutorial de Nick Nimmin.

Stable Diffusion vs Firefly: ¿cuál es mejor?

En cuanto a calidad y variedad de funcionalidades. Esto puede ser algo subjetivo, pero lo que es innegable es que la calidad de los acabados que da Stable Diffusion XL es muy superior a la de Firefly. Mientras que esta da un aspecto más de dibujo, la calidad de Stable Diffusion XL se acerca más al fotorrealismo.

En cuanto a eliminación de objetos y personas, el resultado ha sido bastante similar, aunque a mí personalmente me ha gustado un pelín más el resultado que ha dado Firefly en la fotografía de los caballos.

Y por último, Clipdrop ofrece una variedad más amplia de herramientas que la de Firefly, aunque el resultado no me ha convencido en todas ellas. Por ejemplo, el reescalado da un resultado muy artificial, la reinterpretación de imágenes es un tanto… digamos “psicotrópica” y la sustitución de fondos para mí no pasa de la curiosidad sin ninguna aplicación práctica que convenza.