Zoho Corporation aprovechará la plataforma de computación acelerada por IA de NVIDIA, que incluye NVIDIA NeMo, parte del software NVIDIA AI Enterprise, para construir y desplegar sus Modelos de Lenguaje Extenso (LLM, por su sigla en inglés) en sus aplicaciones SaaS. Una vez que los LLMs estén construidos y desplegados, estarán disponibles para los más de 700,000 clientes de Zoho Corporation en todo el mundo a través de ManageEngine y Zoho.

En el último año, la compañía ha invertido más de 10 millones de dólares en la tecnología y GPUs de IA de NVIDIA, y planea invertir 10 millones adicionales en el próximo año. El anuncio se hizo durante el NVIDIA AI Summit en Mumbai (India).

Ramprakash Ramamoorthy, director de IA en Zoho Corporation, comentó: “muchos de los LLMs en el mercado hoy en día están diseñados para uso por parte de los consumidores, por lo que ofrecen un valor limitado a las empresas. En Zoho, nuestra misión es desarrollar LLMs específicamente diseñados para una amplia gama de casos empresariales. Al ser propietarios de toda nuestra pila tecnológica, con productos que abarcan varias funciones empresariales, podemos integrar el elemento esencial que hace que la IA sea verdaderamente efectiva: el contexto”.

La compañía ya construye modelos de lenguajes estrechos, pequeños y medianos, que son distintos de los LLMs. Esto proporciona opciones para utilizar modelos de diferentes tamaños a fin de ofrecer mejores resultados en una variedad de casos. Al usar múltiples modelos, las empresas que no tienen gran cantidad de datos también se benefician de la IA. La privacidad es un principio fundamental en la estrategia de IA de Zoho, y sus modelos LLM no se entrenarán con datos de los clientes.

“La capacidad de elegir entre una gama de tamaños de modelos de IA permite a las empresas adaptar sus soluciones de IA de manera precisa a sus necesidades, equilibrando el rendimiento con la rentabilidad”, dijo Vishal Dhupar, director general de Asia Sur en NVIDIA. “Con el software de IA de NVIDIA y la plataforma de computación acelerada, Zoho está construyendo una amplia gama de modelos para ayudar a satisfacer las diversas necesidades de sus clientes empresariales”.

A través de esta colaboración, Zoho acelerará sus LLMs en la plataforma de computación acelerada de NVIDIA con las GPUs Hopper de NVIDIA, utilizando la plataforma integral NVIDIA NeMo para desarrollar IA generativa personalizada, incluidos LLMs, IA multimodal, visión e IA de voz. Además, Zoho está probando NVIDIA TensorRT-LLM para optimizar sus LLMs para el despliegue, y ya ha visto un aumento del 60% en el rendimiento y una reducción del 35% en la latencia en comparación con un marco de código abierto utilizado anteriormente. La compañía también está acelerando otras cargas de trabajo, como la conversión de voz a texto, en la infraestructura de computación acelerada de NVIDIA.