Fujitsu está desarrollando un nuevo y eficiente mecanismo de distribución de memoria para las Redes Neuronales Profundas (Deep Neural Networks, DNN). Utilizado de manera extensiva para muchas aplicaciones de Inteligencia Artificial (IA) que implican reconocimiento y clasificación de voz y objetos, el uso de DNN avanzados requiere de recursos computacionales masivos, imponiendo severas demandas de infraestructura de computación existentes.
Con esta nueva solución desarrollada por Fujitsu Laboratories of Europe, el paralelismo de modelos se usa para distribuir los requerimientos de memoria DNN de una forma gestionada fácilmente, transparente y automatizada. Como resultado, la capacidad de las infraestructuras actuales para hacer frente a las aplicaciones de IA de gran escala se mejora considerablemente sin necesidad de nuevas inversiones.
De igual manera, logra un nuevo proceso de distribución de la memoria transformando las capas de redes neuronales diseñadas arbitrariamente, en redes equivalentes, en las que algunas o todas sus capas son reemplazadas por un número de partes de subcapa más pequeñas. Estas partes subcapa están diseñadas para ser funcionalmente equivalentes a las originales, pero son computacionalmente mucho más eficientes para ejecutar. Es importante destacar que, dado que las capas originales y nuevas provienen del mismo perfil, el proceso de formación del DNN ahora transformado y distribuido converge a la del DNN original sin costo adicional.
Los ejemplos de aplicaciones para la nueva solución incluyen análisis de salud, análisis y clasificación de imagen de satélite, procesamiento de lenguaje natural, donde los modelos de aprendizaje profundo a gran escala son requeridos para modelar y aprender la gran complejidad del lenguaje humano, datos basados en gráficos de gran escala incluyendo dispositivos IoT, transacciones financieras, servicios de redes sociales, etc.
Fujitsu Laboratories of Europe evaluaron esta tecnología incluyendo la aplicación del nuevo mecanismo a Caffe, un marco de aprendizaje profundo de código abierto ampliamente utilizado por las comunidades de I+D de todo el mundo. La solución logró más del 90% de eficiencia en la distribución de la memoria al transformar las capas completamente conectadas de AlexNet en varias NVIDIA GPUs. Como una tecnología independiente de hardware, tiene la capacidad de explotar la potencia computacional de ambas unidades de procesamiento convencionales, así como los aceleradores de hardware actuales y emergentes, incluyendo, por ejemplo, NVIDIA GPUs, Intel Xeon Phi, FPGA, ASIC, etc. u otros chips de hardware alternativos específicamente diseñados para aumentar la eficiencia computacional en Deep Learning.
Estos laboratorios trabajan en el aprendizaje de máquinas como parte de las soluciones y servicios digitales que se están desarrollando bajo la iniciativa de Fujitsu centrada en el ser humano, llamada Zinrai. Sus actividades incluyen una amplia colaboración y co-creación con clientes de Fujitsu y organizaciones de investigación de EMEIA, incluyendo el Hospital Clínico San Carlos de Madrid con la solución HIKARI AI, la Universidad de Sevilla con el análisis de datos para aplicaciones turísticas y el Centro de Innovación 5G de UK.
