Nvidia mejora el rendimiento de la capacitación de redes de aprendizaje profundo

NVIDIA anunció mejoras en su software acelerado por GPU que duplicará el rendimiento de la capacitación de redes de aprendizaje profundo.

El nuevo software permitirá que los investigadores y científicos de datos impulsen el potencial de sus proyectos de aprendizaje profundo, y el trabajo de desarrollo de productos mediante la creación de redes neuronales más precisas gracias a la capacitación de modelo más rápida y el diseño de modelos más sofisticados.

La segunda versión (DIGITS 2) del sistema de capacitación de aprendizaje profundo acelerado por GPU NVIDIA® DIGITS™, y la tercera versión (cuDNN 3) de la red neuronal profunda, NVIDIA CUDA, proporcionan mejoras de rendimiento significativas y nuevas capacidades.

Para los científicos de datos, ahora, DIGITS 2 ofrece la escala automática de capacitación de redes neuronales a través de múltiples GPU de alto rendimiento. Esto puede duplicar la velocidad de la capacitación de redes neuronales profundas para la clasificación de imágenes en comparación con una sola GPU.

Para los investigadores de aprendizaje profundo, cuDNN 3 ofrece funciones optimizadas de almacenamiento de datos en la memoria de la GPU para la capacitación de redes neuronales más grandes y sofisticadas. cuDNN 3 también ofrece un mayor rendimiento que cuDNN 2, lo que permite a los investigadores capacitar redes neuronales hasta dos veces más rápido en una sola GPU.

Se espera que la nueva librería cuDNN 3 se integre en las próximas versiones de las estructuras de aprendizaje profundo Caffe, Minerva, Theano y Torch, que se utilizan ampliamente para capacitar redes neuronales profundas.

«Las GPU de alto rendimiento son los cimientos tecnológicos sólidos que impulsan una serie de investigaciones de aprendizaje profundo y desarrollo de productos en el mundo académico y en las principales empresas de Internet» comenta Ian Buck, vicepresidente de Informática acelerada de NVIDIA. «Al trabajar en estrecha colaboración con científicos de datos, desarrolladores de estructura y la comunidad de aprendizaje profundo, estamos aplicando las tecnologías de GPU más potentes para superar los límites de lo posible».

DIGITS 2 – Capacitación hasta 2 veces más rápida con escala en varias GPU

DIGITS 2 es el primer sistema gráfico todo-en-un que guía a los usuarios a través del proceso de diseño, capacitación y validación de las redes neuronales profundas para la clasificación de imágenes.

La nueva capacidad de escala automática en varias GPU de DIGITS 2 aumenta los recursos disponibles de la GPU mediante la distribución automática de las cargas de trabajo de capacitación de aprendizaje profundo en todas las GPU del sistema. Con DIGITS 2, los ingenieros de NVIDIA capacitan el reconocido modelo de red neuronal AlexNet a más del doble de velocidad en cuatro GPU basadas en la arquitectura NVIDIA Maxwell™, en comparación con una sola GPU.¹ Los resultados iniciales de los primeros clientes están demostrando mejores resultados.

«Capacitar a una de nuestras redes profundas para el etiquetado automático en una sola GeForce GTX TITAN X de NVIDIA lleva aproximadamente dieciséis días, pero al usar la nueva escala automática de varias GPU en cuatro GPU TITAN X, la capacitación de completa en tan solo cinco días», dijo Simon Osindero, arquitecto de AI en Yahoo’s Flickr. «Esta es una gran ventaja, y nos permite ver resultados más rápido. Además, nos permite explorar el espacio de modelos de forma más amplia para lograr una mayor precisión».

cuDNN 3 – Capacitar modelos más grandes y sofisticados de manera más rápida

cuDNN es una librería acelerada por GPU de rutinas matemáticas para redes neuronales profundas que los desarrolladores integran en las estructuras de aprendizaje de máquinas de nivel superior.

cuDNN 3 agrega soporte para almacenamiento de datos de punto flotante de 16 bits en la memoria de la GPU. De esta manera, se duplica la cantidad de datos que se pueden almacenar y se optimiza el ancho de banda de la memoria. Con esta capacidad, cuDNN 3 permite a los investigadores capacitar redes neuronales más grandes y sofisticadas.

«Creemos que el almacenamiento de GPU FP16 que se admite en las bibliotecas de NVIDIA nos permitirá escalar nuestros modelos aún más, ya que aumentará la capacidad de memoria efectiva de nuestro hardware y mejorará la eficiencia a medida que escalamos la capacitación de un modelo único a varios GPU», dijo Bryan Catanzaro, investigador senior de Baidu Research». «Esto impulsará nuevas mejoras en la precisión de nuestros modelos».

cuDNN 3 también ofrece aceleraciones significativas de rendimiento en comparación con cuDNN 2 para la capacitación de redes neuronales en una sola GPU. Los ingenieros de NVIDIA capacitaron los modelo AlexNet dos veces más rápido en una sola GPU GeForce GTX TITAN X de NVIDIA.