Un nuevo software llamado Nightshade ha sido desarrollado por investigadores de la Universidad de Chicago, el cual permite a los artistas «envenenar» generadores de imágenes de IA marcando su arte con una marca invisible antes de subirlo a internet.
os artistas están impacientes por encontrar mecanismos que los protejan de las compañías de inteligencia artificial (IA) que usan su arte, sin su permiso, para entrenar a generadores de imágenes. Las demandas se prolongan y las empresas de inteligencia artificial como OpenAI, creadora de Dall-E y ChatGPT, y Stability, creadora de Stable Diffusion, entre otras, no demuestran mucho interés por atender a las preocupaciones de los creadores de los que se sirven sin su consentimiento.
Ahora, los artistas tienen una opción más extrema para luchar que podría escalar la situación a niveles insospechados. Ese método es un software llamado Nightshade, y podría ser el principio de una nueva amenaza a sistemas de IA.
La Historia de Nightshade
En el mundo del arte, la IA generativa no ha tenido muy buena recepción. Y la razón es obvia. Mientras grandes compañías como Stability y OpenAI se benefician monetariamente por generadores de imágenes que se entrenaron con las obras de artistas, los artistas no se benefician de ningún modo.
«Los artistas están perdiendo sus trabajos y no se benefician de la revolución de IA en el arte, aún cuando son sus trabajos los que están en la base de datos con los que se han entrenado esos modelos,» declara Luba Elliott a Entrepreneur, una curadora, oradora, escritora, y consultora de inteligencia artificial aplicada al arte.
Desarrollada por investigadores de la Universidad de Chicago en los Estados Unidos, Nightshade les permite a los artistas «envenenar» a los generadores al hacer una marca invisible en su arte, antes de que se suba al internet, para proteger su propiedad intelectual. Se necesitan apenas 50 muestras «envenenadas» para corromper, permanentemente, la calidad de las imágenes producidas por el generador. Envenenar conjuntos de datos se define como un tipo de ataque de ciberseguridad en contra de los sistemas IA.
Los investigadores declaran que Nightshade se lanzará pronto en código abierto. Entonces, abrirán las puertas para que algunos la usen de manera maliciosa. Si las personas pueden comenzar a influir en los resultados de los generadores de imágenes hechos por IA, es posible que intenten influir en él de formas más peligrosas.
Nightshade puede hacer que un modelo confunda una palabra por otra; por ejemplo, puede hacer que un modelo asocie la palabra «perro» con una imágen de un gato. En un ejemplo más siniestro, alguien podría hacer que asocie la palabra «africano» con una imagen que se ajusta a los estereotipos y la propaganda racista, o que asocie un grupo de personas con ciertas creencias políticas con una imágen que llame a la violencia. Las posibilidades son bastante preocupantes.
Los investigadores de la Universidad de Chicago no respondieron a una solicitud de comentarios sobre los daños potenciales de Nightshade. Hasta el momento de escribir este artículo, OpenAI y Stability también se han rehusado a responder.
Nightshade podría causar daños graves
Nightshade tiene sus limitaciones: sólo funciona en la fase de entrenamiento. Es decir, puede usarse para envenenar a los modelos nuevos o las versiones nuevas, pero no las que ya han sido desarrolladas y desplegadas. Y, a pesar de ello, tiene el potencial de destruir cientos o miles de horas de trabajo para los desarrolladores que trabajan en modelos nuevos.
El costo monetario de algo así sería muy grande. Muchos se preguntan si está bien que en el interés de proteger las obras de los artistas, es aceptable tirar abajo el trabajo de los desarrolladores. Otros dicen que es probable que las personas que fabrican los generadores encuentren pronto una solución, ya sea filtrando el arte envenenado o encontrando formas de ayudar al algoritmo a procesarlo adecuadamente.
Pero la verdad es que los desarrolladores de ciberseguridad han mostrado preocupación por las implicaciones de envenenar conjuntos de datos por años, y hasta ahora, como se describe en un artículo de investigación del Centro Belfer para Ciencias y Asuntos Internacionales de la Escuela Kennedy de Harvard, ni siquiera los expertos más reconocidos en el tema tienen una solución.
Entonces, con las posibilidades de que actores maliciosos usen Nightshade para hacer que los modelos generen imágenes racistas o para destruir el trabajo de desarrolladores, es muy posible que la medicina sea peor que la enfermedad. Pero eso no es el fin de la historia.
Ojo por ojo
Nadie debe estar sorprendido de que hay un lado muy oscuro al usar un software de esta índole. Esto sienta un precedente para justificar los ciberataques en nombre del «vigilantismo digital». Nightshade permite saltarse a los gobiernos y a las instancias legales para poner el poder de castigar la infracción de derechos de autor directamente en manos de los artistas.
Nigthshade no está rompiendo la ley, por ahora, pero tampoco exhorta a sus usuarios para que canalicen por las vías regulares su lucha contra la actividad ilegal de utilizar su labor artística sin su permiso.
Un artículo de Techtarget definió el vigilantismo digital así: «El vigilantismo digital implica que las personas se tomen la justicia por su propia mano a través del Internet. Al igual que el vigilantismo en el mundo real, el vigilantismo digital se realiza fuera de la ley, pero no siempre va en contra de la ley. Algunas personas ven el vigilantismo digital como una forma de poner orden en la Internet cuando los gobiernos no lo hacen».
Un ejemplo del vigilantismo digital es el ataque de negación de servicio (DoS, por sus siglas en inglés), otro tipo de ciberataque que hace que un sitio web sea bloqueado por medio de abrumarlo con tráfico. Este tipo de ataque ha sido utilizado con frecuencia por hackers de ambos lados de la guerra entre Ucrania y Rusia, con el resultado de exponer información personal y hasta causar daños físicos en situaciones extremas.
Podría resultar comprensible para muchos que los artistas se atrevan a llegar a este punto, en especial porque las empresas grandes como Meta no parecen estar muy dispuestas a responder a las preocupaciones de los artistas de una manera rápida o satisfactoria.
Pero aún así, ¿es realmente seguro fomentar este tipo de respuesta? En especial, cuando no hay manera de saber cómo acaba. Tenemos una idea de qué tipo de consecuencias puede traer a las empresas de IA, pero no está muy claro cómo podría afectar a sus millones de usuarios. Entonces, esta guerra entre artistas y empresas de IA podría ser una amenaza de privacidad y seguridad para las millones de personas que usan estos modelos diariamente.
Atrapados en el fuego cruzado
Parece demasiado tarde, y también muy ingenuo, esperar que ambas partes puedan llegar a un acuerdo. Tal como dijo Elliot: «Existen otras soluciones para artistas, como optar por no participar en bases de datos. Sin embargo, parece que estas solicitudes podrían estar siendo ignoradas, particularmente cuando se trata de pequeñas empresas de IA o individuos sin responsabilidad legal.»
También está la pregunta de qué podrían hacer los artistas que no tengan recursos suficientes para demandar o proceder por las vías convencionales. Muchos afirman haber esperado bastante para que las grandes empresas se den cuenta de algo que amenaza la manera como se ganan la vida los artistas tradicionales.
Entonces, es muy probable que otras amenazas como Nightshade aparezcan para prometer un camino más fácil que agrava aún más el enfrentamiento entre los dos. No sorprendería si las peores consecuencias impactan a personas inocentes, como suele ocurrir con todas las guerras.
Sin un final a la vista, este veneno podría salpicarnos a todos.
Artículo tomado de Entrepreneur, lea el original aquí.