Red Hat lanzó Red Hat AI 3, una evolución de su plataforma de IA para empresas que integra Red Hat AI Inference Server, Red Hat Enterprise Linux AI (RHEL AI) y Red Hat OpenShift AI. Su objetivo es facilitar la inferencia de IA a gran escala, acelerando la transición de proyectos piloto a producción y mejorando la colaboración.
El lanzamiento aborda los desafíos comunes en la producción de IA, como la privacidad de datos, el control de costos y la gestión de modelos. La plataforma ofrece una experiencia unificada que permite escalar y distribuir rápidamente las cargas de trabajo de IA en entornos híbridos (centros de datos, nube y edge), además de admitir cualquier modelo en cualquier acelerador de hardware.
- Enfoque en la Inferencia Empresarial
El foco se traslada del entrenamiento de modelos a la inferencia escalable y rentable (la fase de “acción”).
- Red Hat OpenShift AI 3.0 presenta la disponibilidad general de llm-d, un componente que optimiza la forma en que se ejecutan los Modelos de Lenguaje de Gran Tamaño (LLM) en Kubernetes.
- llm-d aprovecha proyectos open source como vLLM y tecnologías de orquestación de Kubernetes para ofrecer:
- Reducción de costos y mejores tiempos de respuesta mediante una programación de modelos inteligente.
- Simplicidad operativa para el despliegue de modelos a escala.
- Flexibilidad con soporte multiplataforma para inferencia de LLM en aceleradores como NVIDIA y AMD.
- Plataforma Unificada y Colaborativa
Red Hat AI 3 proporciona una plataforma única para que ingenieros de plataforma e ingenieros de IA colaboren en el desarrollo de soluciones de IA generativa listas para producción:
- Modelo como Servicio (MaaS): Permite a los equipos de TI funcionar como proveedores internos de MaaS, ofreciendo modelos comunes de forma centralizada y acceso bajo demanda para desarrolladores.
- AI Hub: Un centro para explorar, desplegar y administrar activos de IA, con un catálogo curado de modelos (incluidos modelos validados y optimizados como gpt-oss y DeepSeek-R1) y un registro de ciclo de vida.
- Gen AI Studio: Un entorno práctico para que los ingenieros interactúen con modelos, prueben prompts y ajusten parámetros (como para RAG).
- Bases para Agentes de IA
La versión sienta las bases para futuros sistemas de IA agénticos y sus complejos flujos de trabajo autónomos:
- Se introdujo una capa de API unificadas basada en Llama Stack, alineando el desarrollo con estándares de la industria como OpenAI.
- Red Hat promueve el estándar Model Context Protocol (MCP) para simplificar la interacción de los modelos de IA con herramientas externas.
- Un kit de herramientas modular para la personalización de modelos, basado en InstructLab, que incluye librerías Python para procesamiento de datos (como Docling) y ajuste fino de LLM.
- Un centro de evaluación integrado ayuda a los ingenieros a monitorizar y validar los resultados para una mayor precisión.
