Intel presenta una computadora neuromórfica capaz de simular 8 millones de neuronas

neuromorphic-board

La ingeniería neuromórfica, también conocida como computación neuromórfica, describe el uso de sistemas que contienen circuitos analógicos electrónicos para imitar arquitecturas neurobiológicas presentes en el sistema nervioso.  Intel dio a conocer un sistema con el nombre “Pohoiki Beach”, una computadora de 64 chips capaz de simular 8 millones de neuronas en total.

Pohoiki Beach empaca 64 chips neuromórficos Loihi de 128 núcleos y 14 nanómetros, que se detallaron por primera vez en Octubre de 2017 en el taller Neuro Inspired Computational Elements (NICE) en Oregon. Tienen un tamaño de matriz de 60 milímetros y contienen más de 2 mil millones de transistores, 130.000 neuronas artificiales y 130 millones de sinapsis, además de tres núcleos de Lakemont para la orquestación de tareas. Excepcionalmente, Loihi cuenta con un motor de aprendizaje de microcódigo programable para el entrenamiento del chip de redes neuronales de pulso asíncrono (Spiking Neural Networks, SNN): modelos de inteligencia artificial que incorporan tiempo en su modelo operativo, de modo que los componentes del modelo no procesan datos de entrada simultáneamente. Esto se utilizará para la implementación de cálculos paralelos adaptativos, auto modificables, impulsados por eventos, y de alta precisión y eficiencia.

Las herramientas de desarrollo de Loihi comprenden la API en Python, un compilador y un conjunto de bibliotecas de tiempo de ejecución para construir y ejecutar SNN en Loihi. Esto proporciona una forma de crear un esquema de neuronas y sinapsis con configuraciones personalizadas, como el tiempo de caída, los pesos sinápticos y los umbrales de picos, y un medio para simular esos esquemas mediante la inyección de pulsos externos a través de reglas de aprendizaje personalizadas.

Según Intel, Loihi procesa información hasta 1.000 veces más rápido y 10.000 más eficientemente que los procesadores tradicionales, y puede resolver ciertos tipos de problemas de optimización con más de tres órdenes de magnitud en velocidad y eficiencia energética en comparación con las operaciones convencionales de CPU. Además, el fabricante de chips afirma que Loihi mantiene resultados de rendimiento en tiempo real y usa solo un 30% más de potencia cuando se amplía 50 veces, mientras que el hardware tradicional usa un 500% más de potencia. Y dice que el chip consume aproximadamente 100 veces menos energía que los métodos de mapeo y ubicación simultáneos utilizados por la CPU.

 

Intel’s Pohoiki Beach is a Neuromorphic Computer Capable of Simulating 8 Million Neurons.

 

Anuncios

Los ataques adversarios no son bugs, son features

adevrs-002

Investigadores han encontrado una nueva ventaja defensiva contra los ataques adversarios, informaron en la Conferencia Internacional sobre Representaciones de Aprendizaje. Este trabajo no solo puede ayudar a proteger al público, también ayuda a revelar por qué la IA, notoriamente difícil de entender, es víctima de tales ataques en primer lugar.

Para identificar esta vulnerabilidad, los investigadores crearon un conjunto especial de datos de entrenamiento: imágenes que a nosotros nos parecen una cosa, pero se parecen a otra para la IA; por ejemplo una imagen de un perro que, examinada de cerca por una computadora, es identifica como la de un gato. Luego, el equipo etiquetó erróneamente las imágenes, por ejemplo, calificando a la imagen del perro como gato, y entrenó un algoritmo para aprender las etiquetas. Una vez que la IA había aprendido a ver a los perros con rasgos de gato sutiles como gatos, lo probaron pidiéndole que reconociera imágenes nuevas y no modificadas. A pesar de que la IA se había entrenado de esta manera extraña, podía identificar correctamente a los perros, gatos, etc., casi la mitad del tiempo. En esencia, había aprendido a hacer coincidir las características sutiles con las etiquetas, independientemente de las características obvias.

El experimento de entrenamiento sugiere que las IA usan dos tipos de características: macros, obvias como orejas y colas que las personas reconocen, y micro que solo podemos adivinar. Además, sugiere que los ataques adversos no solo confunden una IA con ajustes sin sentido en una imagen. En esos ajustes, la IA está viendo inteligentemente rastros de otra cosa. Una IA puede ver una señal de stop como una señal de límite de velocidad, por ejemplo, porque algo acerca de los adhesivos en realidad hace que se parezca sutilmente a una señal de límite de velocidad de una manera que los humanos son demasiado ajenos a comprender.

Cuando el equipo entrenó un algoritmo en imágenes sin las características sutiles, su software de reconocimiento de imagen fue engañado por ataques adversos solo el 50% del tiempo, informaron los investigadores en la conferencia y en un trabajo publicado online. Eso se compara con una tasa de vulnerabilidad del 95% cuando la IA es entrenada con imágenes que incluyen los patrones obvios y los sutiles. En general, estos hallazgos sugieren que las vulnerabilidades de una IA se encuentran en sus datos de entrenamiento, no en su programación, dice Dimitris Tsipras de MIT, coautor.

 

Scientists help artificial intelligence outsmart hackers.

 

Algoritmos de aprendizaje profundo identifican estructuras en células vivas

nihms-1501928-f0001

Para los biólogos celulares, la microscopía de fluorescencia es una herramienta invaluable. Puede ayudar a los científicos a diferenciar estructuras subcelulares en imágenes microscópicas impenetrables. Pero esta técnica tiene sus inconvenientes. Hay límites en el número de etiquetas fluorescentes que se pueden introducir en una célula. El ingeniero biomédico Greg Johnson, del Allen Institute for Cell Science en Seattle, quería desarrollar un método para identificar los componentes de una célula viva en imágenes tomadas con microscopía de campo claro. Esta técnica es más sencilla y económica que la microscopía fluorescente, pero tiene una gran desventaja: produce imágenes que aparecen solo en tonos de gris, lo que hace que las estructuras internas de una célula sean difíciles de descifrar. Así que los científicos decidieron crear un algoritmo que pudiera combinar los beneficios de ambos métodos al aprender cómo detectar y etiquetar estructuras celulares de la forma en que pueden hacerlo las etiquetas fluorescentes, pero a partir de imágenes de campo claro.

Para hacer esto, el equipo recurrió al aprendizaje profundo, un enfoque de inteligencia artificial (IA) donde los algoritmos aprenden a identificar patrones en conjuntos de datos. Entrenaron redes neuronales convolucionales, un enfoque de aprendizaje profundo que normalmente se usa para analizar y clasificar imágenes, para identificar similitudes entre las imágenes de microscopía de campo claro y fluorescencia de varios componentes celulares, incluida la envoltura nuclear, la membrana celular y las mitocondrias. Después de comparar muchos pares de imágenes, el algoritmo fue capaz de predecir la ubicación de las estructuras que habrían etiquetado las etiquetas fluorescentes, pero en imágenes de campo claro en 3D de células vivas. Los investigadores encontraron que la herramienta era muy precisa: sus etiquetas predichas estaban altamente correlacionadas con las etiquetas fluorescentes reales para muchos componentes celulares. Johnson señala que una gran ventaja del método de su equipo es que, contrariamente a la creencia común de que los algoritmos de aprendizaje profundo requieren miles de imágenes para aprender, esta herramienta podría entrenarse con solo docenas de ejemplos.

El equipo ahora está investigando algunas aplicaciones potenciales de la técnica. Además de poder realizar estudios de imágenes más rápidos y baratos, la herramienta podría aplicarse en patología para ayudar a identificar células enfermas o para identificar rápidamente cómo cambian las estructuras celulares en los estados enfermos. Las técnicas que aplican el aprendizaje profundo al análisis de imágenes podrían ser útiles donde se use un microscopio o un telescopio. Este último estudio es “sólo la punta del iceberg”.

 

Deep Learning Algorithms Identify Structures in Living Cells.

 

Herramientas Artificialmente Inteligentes Capturan Movimiento Animal

leap-is-accurate-and-requires-little-training-or-labeled-data-a-part-wise-accuracy

Se tarda un promedio de 17 minutos para que una pareja de moscas de la fruta pase de encontrarse a aparearse. El encuentro está marcado por muchas etapas complejas, posiblemente más complejas que el cortejo humano. Talmo Pereira, un estudiante de doctorado que estudia neurociencia en los laboratorios de Joshua Shaevitz y Mala Murthy en la Universidad de Princeton, está estudiando cómo la danza del cortejo está representada en el cerebro de las moscas. Él y sus colegas desarrollaron un método poderoso para seguir el comportamiento animal. Su herramienta, LEAP Estimates Animal Pose (LEAP), aprovecha un tipo de inteligencia artificial llamada red neuronal profunda, esencialmente una “máquina fantástica que puede aprender a hacer… cualquier operación arbitraria para la que sea entrenada”, dice Diego Aldarondo, actualmente estudiante de doctorado en la Universidad de Harvard, quien construyó la herramienta con Pereira durante sus estudios universitarios en Princeton. “Desarrollamos toda esta inteligencia artificial solo para tratar de entender el sexo entre moscas”, bromea Pereira. “O ni siquiera el sexo realmente, solo lo que conduce a ello”.

Tradicionalmente, los investigadores han recopilado datos sobre los movimientos de los animales revisando videos cuadro por cuadro y etiquetando las partes del cuerpo de interés. Es un proceso laborioso que puede llevar a los estudiantes de grado o voluntarios horas y horas. El éxito de LEAP proviene de una combinación de aportes humanos y artificiales. Después de recibir un conjunto de cuadros de video etiquetados, los utiliza para aprender cómo se colocan los puntos de acuerdo con las características de cada imagen, y luego produce las etiquetas para el siguiente conjunto de cuadros, que posteriormente un investigador revisa. A fines del año pasado, publicaron una versión de la herramienta que necesita alrededor de 100 cuadros para lograr una precisión de hasta el 95 por ciento en el seguimiento de 32 puntos en el cuerpo de una mosca. En su informe, los investigadores utilizaron LEAP para rastrear las seis piernas de una mosca, más sus alas, cuerpo y cabeza. También aplicaron su herramienta para capturar los movimientos de las extremidades de un ratón.

Estas herramientas podrían tener aplicaciones en muchos campos, desde la ecología del comportamiento hasta la investigación médica, en donde podrían ayudar a estudiar trastornos como el autismo que están asociados con movimientos estereotipados. También ayudaría a los neurocientíficos a investigar las conexiones entre el cerebro y el comportamiento.

 

Artificially Intelligent Tools Capture Animal Movement.

 

La IA de Affectiva oye tu ira en 1.2 segundos.

emodet-002

Alexa de Amazon puede detectar el habla susurrada, así es como sabe cuándo susurrar. Pero ¿qué pasa con la inteligencia artificial que es capaz de percibir la frustración? La red neuronal de Affectiva del MIT Media Lab, SoundNet, puede clasificar la ira en datos de audio en tan solo 1,2 segundos, independientemente del idioma del hablante, igual que el tiempo que los humanos tardan en percibir la ira.

Los investigadores de Affectiva lo describen en un trabajo recientemente publicado. “Un problema importante en el aprovechamiento del poder de las redes de aprendizaje profundo para el reconocimiento de las emociones es la diferencia entre la gran cantidad de datos requeridos por las redes profundas y el pequeño tamaño de los conjuntos de datos de voz etiquetados con emociones”, escribieron los coautores del artículo. “Nuestro modelo de detección de ira entrenado mejora el rendimiento y generaliza bien en una variedad de conjuntos de datos emocionales actuados, provocados y naturales. Además, nuestro sistema propuesto tiene una baja latencia, adecuada para aplicaciones en tiempo real “.

SoundNet consiste en una red neuronal convolucional, un tipo de red neuronal comúnmente aplicada para analizar imágenes visuales, entrenada sobre un conjunto de datos de video. Para lograr que reconozca la ira en el habla, el equipo primero obtuvo una gran cantidad de datos de audio generales (dos millones de videos, o un poco más de un año) con el etiquetado producido por otro modelo. Luego, lo ajustaron con un conjunto de datos más pequeño, IEMOCAP, que contiene 12 horas de datos de emoción audiovisual anotados, que incluyen video, voz y transcripciones de texto. Para probar la generalización del modelo AI, el equipo evaluó su modelo entrenado en inglés sobre los datos de la emoción del habla en chino mandarín (el Corpus del habla afectiva del mandarín, o MASC). Informan que no solo se generalizó bien a los datos del habla en inglés, sino que fue efectivo en los datos chinos, aunque con una leve degradación en el rendimiento.

Finalmente dejan como trabajo futuro el aprovechar otros grandes conjuntos de datos disponibles públicamente, y  el entrenar sistemas de inteligencia artificial para tareas relacionadas con el habla, como reconocer otros tipos de emociones y estados afectivos.

 

Affectiva’s AI hears your anger in 1.2 seconds.

 

El aprendizaje automático puede usar tweets para detectar fallas de seguridad críticas

textnews-002

Investigadores de la Universidad Estatal de Ohio, la compañía de seguridad FireEye y la firma de investigación Leidos publicaron un artículo que describe un nuevo sistema que lee millones de tweets para detectar menciones de vulnerabilidades de seguridad de software utilizando un algoritmo entrenado con aprendizaje automático, y luego evalúa qué tan grande es la amenaza que representa en función de cómo se describe. Descubrieron que Twitter no solo puede predecir la mayoría de las fallas de seguridad que aparecerán días más tarde en la base de datos de vulnerabilidad nacional, el registro oficial de vulnerabilidades de seguridad rastreadas por el Instituto Nacional de Estándares y Tecnología, sino que también podían usar procesamiento de lenguaje natural para predecir aproximadamente a cuál de esas vulnerabilidades se le otorgará una calificación de gravedad “alta” o “crítica” con una precisión superior al 80 por ciento.

Un prototipo del trabajo en progreso que pusieron en línea, por ejemplo, mostró tweets de la última semana sobre una nueva vulnerabilidad en MacOS conocida como “BuggyCow”, así como un ataque conocido como SPOILER que podría permitir a las páginas web explotar vulnerabilidades asentadas en la profundidad de los chips de Intel. Ninguno de los ataques, que el escáner de Twitter de los investigadores etiquetó como “probablemente severos”, se ha presentado aún en la Base de Datos Nacional de Vulnerabilidad. El prototipo, admiten, no es perfecto. Se actualiza solo una vez al día, incluye algunos duplicados y, no se detectaron algunas vulnerabilidades que luego aparecieron en el NVD. Pero los autores argumentan que el verdadero avance de la investigación consiste en clasificar con precisión la gravedad de las vulnerabilidades basadas en un análisis automatizado del lenguaje humano.

En su experimento, los investigadores comenzaron tomando un subconjunto de 6000 tweets que identificaron como que discutían vulnerabilidades de seguridad. Estos fueron etiquetados con clasificaciones de gravedad generadas por el humanos, filtrando los resultados de cualquier valor atípico que discrepara drásticamente con otros. Luego, los investigadores utilizaron esos tweets etiquetados como datos de entrenamiento para un motor de aprendizaje automático y probaron sus predicciones. Anticipándose cinco días a la inclusión de una vulnerabilidad en el registro nacional, pudieron predecir la severidad de las 100 vulnerabilidades más críticas, basándose en la misma clasificación de la NVD, con un 78% de precisión. Para las 50 principales, podrían predecir la gravedad con un 86% de precisión y 100% de precisión para las 10 vulnerabilidades más graves del NVD.

Ritter advierte que, a pesar de los resultados prometedores, su herramienta automatizada probablemente no debería ser utilizada como la única fuente de datos de vulnerabilidad, y que al menos un humano debe hacer clic en el tweet subyacente y su información vinculada para confirmar sus hallazgos.

Machine Learning Can Use Tweets to Spot Critical Security Flaws.

 

Los investigadores están entrenando IAs para generación de imágenes con menos etiquetas

ganclas-001

Los modelos generativos tienen la propiedad de aprender distribuciones complejas de datos, pero su entrenamiento requiere muchos datos etiquetados y, dependiendo de la tarea en cuestión, los corpus necesarios a veces son escasos.

La solución podría estar en un enfoque propuesto por los investigadores de Google y ETH Zurich. En un artículo publicado describen un “extractor semántico” que puede extraer características de los datos de entrenamiento, junto con métodos para inferir etiquetas para un conjunto de entrenamiento completo a partir de un pequeño subconjunto de imágenes etiquetadas. Estas técnicas auto y semi supervisadas juntas pueden superar los métodos de vanguardia en pruebas de referencia como ImageNet.

En uno de los varios métodos no supervisados que los investigadores postulan, primero extraen una representación de características (un conjunto de técnicas para descubrir automáticamente las representaciones necesarias para la clasificación de datos sin procesar) en un conjunto de datos objetivo utilizando el extractor de características mencionado anteriormente. Luego, realizan un análisis de clusters, es decir, agrupan las representaciones de tal manera que aquellos en el mismo grupo comparten más en común que aquellos en otros grupos. Y, por último, entrenan una GAN, una red neuronal de dos partes que consta de generadores que producen muestras y discriminadores que intentan distinguir entre las muestras generadas y las muestras del mundo real, deduciendo las etiquetas. En otro método de pre-entrenamiento, denominado “co-entrenamiento”, los autores del artículo aprovechan una combinación de métodos sin supervisión, semi-supervisados y auto-supervisados para inferir información de la etiqueta concurrente con el entrenamiento de GAN. Durante el paso no supervisado, toman uno de los dos métodos siguientes: eliminar completamente las etiquetas o asignar etiquetas aleatorias a imágenes reales. Por el contrario, en la etapa semi-supervisada, entrenan a un clasificador en la representación característica del discriminador cuando las etiquetas están disponibles para un subconjunto de los datos reales, que utilizan para predecir las etiquetas para las imágenes reales sin etiquetar.

Para probar el rendimiento de las técnicas, los investigadores seleccionaron ImageNet, una base de datos que contiene más de 1.3 millones de imágenes de entrenamiento y 50,000 imágenes de prueba, cada una correspondiente a una de 1,000 clases de objetos, y obtuvieron conjuntos de datos parcialmente etiquetados al seleccionar al azar una parte de las muestras de cada imagen clase (es decir, “camiones de bomberos”, “montañas”, etc.). Después de entrenar a cada GAN utilizando los enfoques sin supervisión, pre-entrenado y de co-entrenamiento, compararon la calidad de los resultados con dos métricas de puntuación: Frechet Inception Distancia (FID) y Puntuación Inicial (IS). Los métodos no supervisados no fueron particularmente exitosos: lograron un FID e IS de alrededor de 25 y 20, respectivamente, en comparación con la línea de base de 8.4 y 75. El pre-entrenamiento mediante auto supervisión y agrupación redujo el FID en un 10% y el aumento de ID en aproximadamente un 10%, y el método co-entrenado obtuvo un FID de 13.9 y un IS de 49.2. Pero el más exitoso fue el de auto-supervisión que logró un rendimiento “vanguardista” con un 20% de datos etiquetados.

En el futuro, los investigadores esperan investigar cómo se podrían aplicar las técnicas a conjuntos de datos “más grandes” y “más diversos”. “Hay varias direcciones importantes para el trabajo futuro”, escribieron, “[pero] creemos que este es un gran primer paso hacia el objetivo final de la síntesis de imágenes de alta fidelidad con pocos datos”.

Researchers are training image-generating AI with fewer labels.