La empresa proveedora de soluciones open source, Red Hat, dio a conocer que ha firmado un acuerdo definitivo para adquirir a Neural Magic, compañía que surgió del MIT (Massachusetts Institute of Technology) en 2018 con el objetivo de crear software de inferencia de alto rendimiento para el deep learning o aprendizaje profundo. Actualmente ofrece software y algoritmos que aceleran las cargas de trabajo de inferencia de la IA generativa (GenAI).

Objetivo de la adquisición

El volumen de los modelos de lenguaje de gran tamaño (LLM) que sustentan los sistemas de Inteligencia Artificial sigue en aumento y es necesario crear servicios de LLM rentables y confiables que requieren una gran potencia informática. Es por ello que, de acuerdo con la información proporcionada por Red Hat, el objetivo del convenio de adquisición es abordar estos problemas y hacer que la IA generativa sea más accesible para un mayor número de organizaciones a través de la innovación abierta de vLLM, desarrollada por Universidad de California en Berkeley.

Cabe señalar que vLLM es un proyecto open source impulsado por la comunidad para el servicio de modelos abiertos (es decir, la forma en que los modelos de IA generativa infieren y resuelven problemas), que admite todas las familias de modelos clave, la investigación avanzada de aceleración de inferencia y distintos back-ends de hardware, que incluyen GPU de AMD, AWS Neuron, TPU de Google, Intel Gaudi, GPU de NVIDIA y CPU x86.

La participación de Neural Magic en el proyecto vLLM, combinado con el portfolio de tecnologías de IA en la nube híbrida de Red Hat, pretende ofrecer a las organizaciones “una opción abierta para desarrollar estrategias de IA que satisfagan sus necesidades particulares, donde sea que se encuentren sus datos”, informó Red Hat.