Akamai presentó Akamai Cloud Inference con el propósito de iniciar una ola de innovación más rápida y eficiente para las organizaciones que buscan convertir los modelos lingüísticos predictivos y de gran tamaño en acciones reales.

“Conseguir que los datos de la IA estén más cerca de los usuarios y los dispositivos es difícil, y es en este aspecto donde las nubes heredadas tienen dificultades”, afirma Adam Karon, director de Operaciones y director general del Grupo de Tecnología de Nube de Akamai. “Mientras que el trabajo más duro del entrenamiento de los LLM seguirá haciéndose en centros de datos de hiperescala grandes, el trabajo práctico de inferencia tendrá lugar en el Edge, donde la plataforma que Akamai ha creado durante las últimas dos décadas se convierte en vital para el futuro de la IA y nos diferencia de cualquier otro proveedor de nube del mercado”.

La nueva solución de Akamai proporciona herramientas para que los ingenieros y los desarrolladores de plataformas puedan crear y ejecutar aplicaciones y cargas de trabajo de IA que hacen un uso intensivo de datos más cerca de los usuarios finales, lo que proporciona un rendimiento tres veces mayor al mismo tiempo que reduce la latencia hasta 2,5 veces. Con la solución de Akamai, las empresas pueden ahorrar hasta un 86% en inferencia de IA y cargas de trabajo de IA con agentes en comparación con la infraestructura hiperescalable tradicional.

Cloud Inference incluye:

• Computación: Akamai Cloud ofrece un arsenal de recursos informáticos versátil, desde CPU clásicas para una inferencia ajustada hasta opciones de computación acelerada en GPU, y VPU ASIC personalizadas para proporcionar la potencia adecuada para un amplio espectro de desafíos de inferencia de IA. Akamai se integra con el ecosistema AI Enterprise de Nvidia y aprovecha Triton, TAO Toolkit, TensorRT y NVFlare para optimizar el rendimiento de la inferencia de IA en las GPU NVIDIA.

• Gestión de datos: Akamai permite a los clientes aprovechar todo el potencial de la inferencia de IA con una estructura de datos diseñada específicamente para cargas de trabajo de IA modernas.

• Contenedorización: la contenedorización de las cargas de trabajo de IA permite una ampliación automática basada en la demanda, una mayor resiliencia de las aplicaciones y una portabilidad multinube o híbrida, a la vez que optimiza tanto el rendimiento como el costo.

• Edge computing: para simplificar la forma en que los desarrolladores crean aplicaciones basadas en IA, Akamai AI Inference incluye funciones de WebAssembly (Wasm). Al trabajar con proveedores de Wasm como Fermyon, Akamai permite a los desarrolladores ejecutar inferencias para los LLM directamente desde aplicaciones sin servidor, lo que permite a los clientes ejecutar código ligero en el Edge para habilitar aplicaciones sensibles a la latencia.

Juntas, estas herramientas crean una plataforma para aplicaciones basadas en IA de baja latencia que permite a las empresas ofrecer la experiencia que demandan sus usuarios.