Los ataques adversarios no son bugs, son features

adevrs-002

Investigadores han encontrado una nueva ventaja defensiva contra los ataques adversarios, informaron en la Conferencia Internacional sobre Representaciones de Aprendizaje. Este trabajo no solo puede ayudar a proteger al público, también ayuda a revelar por qué la IA, notoriamente difícil de entender, es víctima de tales ataques en primer lugar.

Para identificar esta vulnerabilidad, los investigadores crearon un conjunto especial de datos de entrenamiento: imágenes que a nosotros nos parecen una cosa, pero se parecen a otra para la IA; por ejemplo una imagen de un perro que, examinada de cerca por una computadora, es identifica como la de un gato. Luego, el equipo etiquetó erróneamente las imágenes, por ejemplo, calificando a la imagen del perro como gato, y entrenó un algoritmo para aprender las etiquetas. Una vez que la IA había aprendido a ver a los perros con rasgos de gato sutiles como gatos, lo probaron pidiéndole que reconociera imágenes nuevas y no modificadas. A pesar de que la IA se había entrenado de esta manera extraña, podía identificar correctamente a los perros, gatos, etc., casi la mitad del tiempo. En esencia, había aprendido a hacer coincidir las características sutiles con las etiquetas, independientemente de las características obvias.

El experimento de entrenamiento sugiere que las IA usan dos tipos de características: macros, obvias como orejas y colas que las personas reconocen, y micro que solo podemos adivinar. Además, sugiere que los ataques adversos no solo confunden una IA con ajustes sin sentido en una imagen. En esos ajustes, la IA está viendo inteligentemente rastros de otra cosa. Una IA puede ver una señal de stop como una señal de límite de velocidad, por ejemplo, porque algo acerca de los adhesivos en realidad hace que se parezca sutilmente a una señal de límite de velocidad de una manera que los humanos son demasiado ajenos a comprender.

Cuando el equipo entrenó un algoritmo en imágenes sin las características sutiles, su software de reconocimiento de imagen fue engañado por ataques adversos solo el 50% del tiempo, informaron los investigadores en la conferencia y en un trabajo publicado online. Eso se compara con una tasa de vulnerabilidad del 95% cuando la IA es entrenada con imágenes que incluyen los patrones obvios y los sutiles. En general, estos hallazgos sugieren que las vulnerabilidades de una IA se encuentran en sus datos de entrenamiento, no en su programación, dice Dimitris Tsipras de MIT, coautor.

 

Scientists help artificial intelligence outsmart hackers.

 

Los investigadores están entrenando IAs para generación de imágenes con menos etiquetas

ganclas-001

Los modelos generativos tienen la propiedad de aprender distribuciones complejas de datos, pero su entrenamiento requiere muchos datos etiquetados y, dependiendo de la tarea en cuestión, los corpus necesarios a veces son escasos.

La solución podría estar en un enfoque propuesto por los investigadores de Google y ETH Zurich. En un artículo publicado describen un “extractor semántico” que puede extraer características de los datos de entrenamiento, junto con métodos para inferir etiquetas para un conjunto de entrenamiento completo a partir de un pequeño subconjunto de imágenes etiquetadas. Estas técnicas auto y semi supervisadas juntas pueden superar los métodos de vanguardia en pruebas de referencia como ImageNet.

En uno de los varios métodos no supervisados que los investigadores postulan, primero extraen una representación de características (un conjunto de técnicas para descubrir automáticamente las representaciones necesarias para la clasificación de datos sin procesar) en un conjunto de datos objetivo utilizando el extractor de características mencionado anteriormente. Luego, realizan un análisis de clusters, es decir, agrupan las representaciones de tal manera que aquellos en el mismo grupo comparten más en común que aquellos en otros grupos. Y, por último, entrenan una GAN, una red neuronal de dos partes que consta de generadores que producen muestras y discriminadores que intentan distinguir entre las muestras generadas y las muestras del mundo real, deduciendo las etiquetas. En otro método de pre-entrenamiento, denominado “co-entrenamiento”, los autores del artículo aprovechan una combinación de métodos sin supervisión, semi-supervisados y auto-supervisados para inferir información de la etiqueta concurrente con el entrenamiento de GAN. Durante el paso no supervisado, toman uno de los dos métodos siguientes: eliminar completamente las etiquetas o asignar etiquetas aleatorias a imágenes reales. Por el contrario, en la etapa semi-supervisada, entrenan a un clasificador en la representación característica del discriminador cuando las etiquetas están disponibles para un subconjunto de los datos reales, que utilizan para predecir las etiquetas para las imágenes reales sin etiquetar.

Para probar el rendimiento de las técnicas, los investigadores seleccionaron ImageNet, una base de datos que contiene más de 1.3 millones de imágenes de entrenamiento y 50,000 imágenes de prueba, cada una correspondiente a una de 1,000 clases de objetos, y obtuvieron conjuntos de datos parcialmente etiquetados al seleccionar al azar una parte de las muestras de cada imagen clase (es decir, “camiones de bomberos”, “montañas”, etc.). Después de entrenar a cada GAN utilizando los enfoques sin supervisión, pre-entrenado y de co-entrenamiento, compararon la calidad de los resultados con dos métricas de puntuación: Frechet Inception Distancia (FID) y Puntuación Inicial (IS). Los métodos no supervisados no fueron particularmente exitosos: lograron un FID e IS de alrededor de 25 y 20, respectivamente, en comparación con la línea de base de 8.4 y 75. El pre-entrenamiento mediante auto supervisión y agrupación redujo el FID en un 10% y el aumento de ID en aproximadamente un 10%, y el método co-entrenado obtuvo un FID de 13.9 y un IS de 49.2. Pero el más exitoso fue el de auto-supervisión que logró un rendimiento “vanguardista” con un 20% de datos etiquetados.

En el futuro, los investigadores esperan investigar cómo se podrían aplicar las técnicas a conjuntos de datos “más grandes” y “más diversos”. “Hay varias direcciones importantes para el trabajo futuro”, escribieron, “[pero] creemos que este es un gran primer paso hacia el objetivo final de la síntesis de imágenes de alta fidelidad con pocos datos”.

Researchers are training image-generating AI with fewer labels.

 

Redes Neuronales se utilizan para mejor las texturas de juegos más antiguos

ganimg-001

La Red Generadora Adversaria de Súper Resolución Mejorada, o ESRGAN, es un método capaz de generar texturas realistas ampliando la resolución de una imagen. Básicamente es una técnica de aprendizaje automático que utiliza una red adversaria generativa para agrandar la escala de imágenes más pequeñas. Al hacerlo en varias pasadas, generalmente producirá una imagen con más fidelidad que otros métodos como SRCNN y SRGAN. De hecho, ESRGAN se basa en SRGAN. La diferencia entre los dos es que ESRGAN mejora la arquitectura de la red de SRGAN, la pérdida adversa y la pérdida perceptiva.

Además ESRGAN:

  • Adopta un modelo más profundo utilizando Residual-in-Residual Dense Block (RRDB) sin capas de normalización de lotes.
  • Emplea una GAN promedio relativista en lugar de un GAN estándar.
  • Mejora la pérdida perceptiva utilizando las features antes de la activación.

En contraste con SRGAN, que afirmaba que los modelos más profundos son cada vez más difíciles de entrenar, un modelo más profundo de ESRGAN muestra su rendimiento superior con un entrenamiento fácil. Obviamente, esto no va a hacer que cada imagen se vea increíble, pero vale la pena darle una oportunidad. Hay algunos resultados realmente buenos.

Además de la publicación existe un repositorio github que incluye modelos entrenados, y hasta hay una guía escrita por alguien más con los pasos necesarios para poder probarlo uno mismo.

 

> AI Neural Networks being used to generate HQ textures for older games (You can do it yourself!).

Una red neuronal puede aprender a organizar el mundo que ve en conceptos, al igual que nosotros

Los investigadores del MIT-IBM Watson AI Lab se dieron cuenta de que las GAN (Generative Adversarial Networks) son una herramienta poderosa, pintan lo que están “pensando”, y podrían dar a los humanos una idea de cómo aprenden y razonan las redes neuronales. “Tenemos la oportunidad de que aprendamos lo que una red sabe al tratar de recrear el mundo visual”, dice David Bau, un estudiante de doctorado del MIT que trabajó en el proyecto.

Así que los investigadores comenzaron a probar las mecánicas de aprendizaje de una GAN alimentándolas con varias fotos de paisajes: árboles, pasto, edificios y cielo. Querían ver si aprendería a organizar los píxeles en grupos sensibles, sin que se le dijera explícitamente cómo hacerlo. Sorprendentemente, con el tiempo, lo hizo. Al encender y apagar varias “neuronas” y al pedirle a la GAN que pintara lo que pensaba, los investigadores encontraron distintos grupos de neuronas que habían aprendido a representar un árbol, por ejemplo. Otros grupos representaban el pasto, mientras que otros representaban paredes o puertas. En otras palabras, había logrado agrupar píxeles de árbol con píxeles de árbol y píxeles de puerta con píxeles de puerta, independientemente de cómo estos objetos cambiaran de color de una foto a otra en el conjunto de entrenamiento.

Ser capaz de identificar qué grupos corresponden a qué conceptos hace posible controlar la salida de la red neuronal. El grupo de Bau puede activar solo las neuronas de los árboles, por ejemplo, para hacer que el GAN pinte árboles, o activar solo las neuronas de la puerta para que pinte puertas. De manera similar, las redes de idiomas pueden manipularse para cambiar su salida, por ejemplo, para intercambiar el género de los pronombres mientras se traducen de un idioma a otro.

El equipo ha lanzado una aplicación llamada GANpaint que convierte esta nueva capacidad en una herramienta artística, permitiendo activar grupos específicos de neuronas para pintar escenas de edificios en campos de hierba con muchas puertas. Más allá de lo entretenido que esto pueda ser, estos resultados permiten apreciar el verdadero potencial de esta investigación.

 

> A neural network can learn to organize the world it sees into concepts—just like we do.

Retrato generado por una red neuronal se vende en una subasta por u$s 432.500

1000x-1

Un retrato creado por una inteligencia artificial obtuvo u$s 432.500 en Christie’s en Nueva York el jueves pasado, la primera vez que una casa de subastas importante ofreció una obra de arte generada por computadora.

La impresión sobre lienzo, titulada “Edmond de Belamy, de La Famille de Belamy”, representa una imagen borrosa e inacabada de un hombre. Mostrado en un marco de madera dorado, se estimó que costaba entre u$s 7.000 y u$s 10.000 y se ofreció como el lote final en la subasta de copias de Christie.

El trabajo fue una creación de Obvious Art, un colectivo con sede en París, con la ayuda de un algoritmo conocido como GAN (Generative Adversarial Network). “Alimentamos el sistema con un conjunto de datos de 15.000 retratos pintados entre los siglos XIV y XX”, dijo el miembro del colectivo Hugo Caselles-Dupre a Christie.

“Es un momento emocionante y nuestra esperanza es que el foco en esta venta traerá adelante el increíble trabajo que nuestros antecesores y colegas han estado produciendo”, dijo el colectivo en un comunicado. “Agradecemos a Christie’s por abrir este diálogo en la comunidad artística y nos sentimos honrados de haber sido parte de esta conversación global sobre el impacto de esta nueva tecnología en la creación de arte”.

La pieza provocó una guerra de ofertas entre cinco partidos que duró unos siete minutos, prevaleciendo un comprador anónimo por teléfono, dijo la portavoz de Christie, Jennifer Cuminale.

El retrato está firmado por el artista:  formuleblack   🙂

 

> AI-Generated Portrait Sells for $432,500 in an Auction First.

Sintetizando Audio con Redes Adversarias Generativas

gansnd-001

La sintetización de audio para dominios específicos tiene muchas aplicaciones prácticas, como producción de texto a voz y música. Los enfoques basados en el aprendizaje han eclipsado recientemente el rendimiento de los sistemas paramétricos de producción en el área de texto a voz.

Dichos métodos dependen del acceso a grandes cantidades de grabaciones transcritas, pero no aprovechan el audio adicional no transcrito que a menudo está disponible. Los enfoques no supervisados pueden reducir los requisitos de datos para estos métodos al aprender a sintetizar a priori.

Sin embargo, las señales de audio tienen una alta resolución temporal con un comportamiento periódico en ventanas grandes, y las estrategias relevantes deben funcionar de manera efectiva en grandes dimensiones. Las Redes Adversarias Generativas (GAN) son algoritmos no supervisados que se han mostrado prometedores en la generación de señales de alta dimensión.

Desde su introducción, las GAN se han refinado para generar imágenes con fidelidad creciente. A pesar de su prevalencia para aplicaciones de imágenes, las GAN aún no se han demostrado capaces de sintetizar audio en un entorno no supervisado. Una solución ingenua para aplicar GAN al audio sería operar en espectrogramas similares a imágenes, es decir, representaciones de frecuencia de tiempo del audio. Esta práctica de aplicar algoritmos de procesamiento de imágenes para tareas de audio es un lugar común en el entorno discriminativo.

En el contexto generativo, sin embargo, este enfoque es problemático ya que las representaciones más perceptualmente informadas no son invertibles y, por lo tanto, no pueden escucharse sin estimaciones con pérdidas o modelos de inversión aprendidos. Trabajos recientes han demostrado que las redes neuronales se pueden entrenar con autorregresión para operar en audio sin formato.

Tales enfoques son atractivos ya que prescinden de las características acústicas de ingeniería. Sin embargo, a diferencia de las GAN, la configuración autorregresiva genera una producción lenta, ya que las muestras de audio de salida deben introducirse de nuevo en el modelo, una a la vez.

En este trabajo se investigan estrategias en los dominios de tiempo y frecuencia para generar segmentos de audio con GAN.

Con este enfoque de dominio de frecuencia (SpecGAN), primero diseñamos una representación de espectrograma adecuada que permite la inversión aproximada, y aplicamos el método GAN convolucional profundo bidimensional (DCGAN) a estos espectrogramas.

En WaveGAN, nuestro enfoque de dominio del tiempo, aplanamos la arquitectura SpecGAN para operar en una dimensión, lo que resulta en un modelo con el mismo número de parámetros y operaciones numéricas que su análogo bidimensional.

Para evaluar WaveGAN, proponemos una nueva tarea estándar, generando ejemplos hablados de los dígitos del “cero” al “nueve”.

Diseñamos una metodología de evaluación basada en los puntajes de un clasificador preentrenado y juicios humanos. Nuestros experimentos en esta tarea demuestran que tanto WaveGAN como SpecGAN pueden generar ejemplos de habla que sean inteligibles para los humanos. En cuanto a los criterios de calidad de sonido y diversidad de hablantes, los jueces humanos indican una preferencia por los ejemplos de WaveGAN en comparación con los de SpecGAN.

 

> Synthesizing Audio with Generative Adversarial Networks.

Ejemplos adversos que engañan tanto a la visión humana como a la artificial

adevrs-001

La transferencia de ejemplos adversos ocurre cuando los ejemplos antagónicos que engañan a un modelo también engañan a otro con una arquitectura, conjunto de entrenamiento, o algoritmo de entrenamiento diferentes. Esta técnica ha demostrado tener éxito en estudios recientes y nos lleva a preguntarnos si es posible la transferencia de ataques adversos al cerebro humano.

Ha habido estudios que demuestran similitudes entre la visión biológica y artificial. Por ejemplo se han descubierto similitudes en la representación y el comportamiento de las redes neuronales convolucionales profundas (que típicamente subyacen a los modelos de visión por computadora) y el sistema visual de los primates. Los estudios en transferencia de estilo también han demostrado que las capas ocultas en CNN capturan ideas abstractas de estilo artístico que son intuitivas para los humanos.

Para crear un modelo de visión artificial que haga que los humanos clasifiquen incorrectamente las imágenes, debemos comprender y emular el sistema visual humano. Cuando vemos un objeto, la luz de diferentes partes de una imagen cae en diferentes partes de nuestra retina. Algunas partes de la retina pueden procesar las señales de luz con mayor claridad. Para aplicar este concepto a un modelo de visión por computadora, la resolución de las imágenes se ajusta en función de la geometría entre un observador humano y una imagen durante el tiempo de prueba. Después se generan ejemplos adversarios utilizando el ataque dirigido iterativo. El modelo atacado es un conjunto de diez modelos de CNN formados en ImageNet. Para fomentar una alta tasa de transferencia, solo se conservan los ejemplos antagónicos que logran engañar al menos a 7 de 10 modelos.

Durante el tiempo de prueba, se les pide a los participantes humanos que clasifiquen dentro de un marco de tiempo limitado los ejemplos acusatorios generados. Se informa que los humanos pueden clasificar las imágenes con perturbaciones adversas con una tasa de precisión del 65%.

Si se ha encontrado un modelo que podría engañar a las Redes Neuronales Convolucionales (CNN) y a los humanos, ¿esto se debe a que existe una similitud entre la CNN y el cerebro humano? ¿O deberíamos empezar por cuestionar la objetividad de las tareas de visión por computadora? ¿Es una imagen de, por ejemplo, un gato adversarialmente perturbado para parecerse a un perro objetivamente un perro? ¿O es objetivamente un gato, pero nos han engañado al creer que es un perro? Podríamos investigar más sobre esto estudiando qué propiedades de los ejemplos adversarios son responsables de engañar a los humanos, y cómo estas propiedades se relacionan con el mundo físico.

 

> Adversarial Examples that Fool both Human and Computer Vision.