Llegó el momento donde para “defender sus obras” algunos investigadores de la Universidad de Chicago desarrollaron Nightshade una herramienta ofensiva que aunque busca “para combatir el uso no autorizado de imágenes en el entrenamiento de modelos generativos” lo que hace es “envenenar” imagenes para destruir los modelos entrenados con ellas. Nightshade es el modo ofensivo de Glaze que era realmente defensivo.
Para entender cómo funciona Nightshade, es importante comprender el concepto de envenenamiento de modelos. En el ámbito de machine learning, los modelos aprenden y evolucionan basados en los datos que reciben. Si estos datos están comprometidos o alterados de una manera específica, pueden llevar a que el modelo desarrolle comportamientos inesperados o patrones indeseables. Nightshade aprovecha esta vulnerabilidad transformando cualquier imagen estándar en una muestra de datos “envenenada”. Estas imágenes alteradas, cuando se usan en el entrenamiento de modelos generativos, hacen que los modelos aprendan patrones y comportamientos incorrectos.
Nightshade is computed as a multi-objective optimization that minimizes visible changes to the original image. While human eyes see a shaded image that is largely unchanged from the original, the AI model sees a dramatically different composition in the image.
What Is Nightshade?
Para ponerlo super simple, cambios que nuestra visión no capta por su sutileza, son suficientes para hacerle creer al modelo que si pedis una imagen de una vaca volando… está bien agregar carteras. En términos de cocina, para tus ojos es azúcar pero para el LLM es sal y el producto final es completamente diferente.
Por ejemplo, considera un escenario donde un modelo generativo está entrenado para responder a indicaciones con imágenes apropiadas. Bajo circunstancias normales, un prompt para ilustrar este post pediría una batalla entre modelos de entrenamiento y datos que los envenenan y podria recibir una imagen… cuando menos extraña con Hello Kitty
De defensa de sus obras al envenenamiento de modelos
Tal vez lo más interesante de esta herramienta, que honestamente era esperable y hay ya startups trabajando en la contraofensiva, al usar Nightshade para alterar imágenes los investigadores lo que hacen es directamente tratar de destruir el modelo que está entrenándose con esas obras.
Nightshade is an offensive tool that artists can use as a group to disrupt models that scrape their images without consent (thus protecting all artists against these models).
Nightshade vs. Glaze.
Y acá entramos en los potenciales problemas, el primero es como los investigadores tienen que aclarar que la herramienta debe usarse responsablemente dejando saber que no hay salvaguardas para el uso ofensivo.
El segundo punto es que esto no toma en cuenta el fair-use lo que es parte integral del derecho de copyright y base de muchos artistas que se educan viendo estilos de otros artistas preexistentes (de hecho quieren prevenir la “mímica de estilos” lo cual es directamente estúpido).
Finalmente, esto abre la puerta a que los modelos puedan poner medidas que esquiven estas herramientas y el uso responsable se muera porque arrancó la era de las guerras de inteligencia artificial generativa… y honestamente nadie sabe como va a terminar.