Desde centros de datos locales hasta múltiples nubes públicas y hasta el borde, Red Hat OpenShift AI amplía la individualización y las opciones para ayudar a las empresas a adaptarse al auge de las cargas de trabajo inteligentes.

En su evento Red Hat Summit 2024, que se realiza esta semana en Denver, Colorado, esta compañía de soluciones de código abierto anunció avances en la Red Hat OpenShift AI, una plataforma híbrida abierta de inteligencia artificial (IA) y aprendizaje automático (ML) construida sobre Red Hat OpenShift, la cual permite a las empresas crear y entregue aplicaciones habilitadas para IA a escala en nubes híbridas.

De acuerdo con esta compañía, los clientes enfrentan muchos desafíos al trasladar los modelos de IA de la experimentación a la producción, incluidos mayores costos de hardware, preocupaciones sobre la privacidad de los datos y falta de confianza al compartir sus datos con modelos basados ​​en SaaS.

La IA generativa (GenAI) está cambiando rápidamente y muchas organizaciones están luchando por establecer una plataforma central de IA confiable que pueda ejecutarse en las instalaciones o en la nube.

Según IDC, para explotar con éxito la IA, las empresas necesitarán modernizar muchas aplicaciones y entornos de datos existentes, derribar barreras entre los sistemas y plataformas de almacenamiento actuales, mejorar la sostenibilidad de la infraestructura y elegir cuidadosamente dónde implementar diferentes cargas de trabajo en la nube, el centro de datos y el borde.

¿Qué ofrece esta versión?

La más reciente versión de la plataforma Red Hat OpenShift AI 2.9 ofrece:

• Un servicio de modelos en el borde, ya que  extiende la implementación de modelos de IA a ubicaciones remotas utilizando OpenShift de un solo nodo. Proporciona capacidades de inferencia en entornos con recursos limitados con acceso a la red intermitente o aislado. Esta función de vista previa de la tecnología proporciona a las organizaciones una experiencia operativa consistente y escalable desde el núcleo hasta la nube y el borde e incluye observabilidad lista para usar.
• Servicio de modelos mejorado con la capacidad de utilizar múltiples servidores de modelos para admitir tanto predictivo como GenAI, incluido el soporte para KServe, una definición de recursos personalizada de Kubernetes que organiza el servicio para todo tipo de modelos, vLLM y servidor de inferencia de generación de texto (TGIS), motores de servicio para LLMs y Caikit-nlp-tgis runtime, que maneja modelos y tareas de procesamiento del lenguaje natural (NLP). El servicio de modelos mejorado permite a los usuarios ejecutar GenAI predictivo y en una única plataforma para múltiples casos de uso, lo que reduce los costos y simplifica las operaciones. Esto permite servir modelos listos para usar para LLM y simplifica el flujo de trabajo del usuario circundante.
• Cargas de trabajo distribuidas con Ray, utilizando CodeFlare y KubeRay, que utiliza múltiples nodos de clúster para un procesamiento de datos y entrenamiento de modelos más rápido y eficiente. Ray es un marco para acelerar las cargas de trabajo de IA y KubeRay ayuda a administrar estas cargas de trabajo en Kubernetes. CodeFlare es fundamental para las capacidades de carga de trabajo distribuida de Red Hat OpenShift AI, ya que proporciona un marco fácil de usar que ayuda a simplificar la orquestación y el monitoreo de tareas. Las capacidades centrales de gestión y cola permiten una utilización óptima de los nodos y permiten la asignación de recursos, como GPU, a los usuarios y cargas de trabajo adecuados.
• Desarrollo de modelos mejorado a través de espacios de trabajo de proyectos e imágenes de banco de trabajo adicionales que brindan a los científicos de datos la flexibilidad de usar IDE y kits de herramientas, incluidos VS Code y RStudio, actualmente disponibles como una vista previa de la tecnología, y CUDA mejorado, para una variedad de casos de uso y tipos de modelos.
• Visualizaciones de seguimiento de modelos para métricas operativas y de rendimiento, lo que mejora la observabilidad del rendimiento de los modelos de IA.
• Los nuevos perfiles de acelerador  permiten a los administradores configurar diferentes tipos de aceleradores de hardware disponibles para el desarrollo de modelos y los flujos de trabajo de servicio de modelos. Esto proporciona un acceso de usuario sencillo y de autoservicio al tipo de acelerador adecuado para una carga de trabajo específica.

De esta forma, la compañía pretende impulsar el binomio Inteligencia Artificial/Machine Learning en la nube híbrida abierta, permitiendo que las cargas de trabajo de IA se ejecuten donde residen los datos, ya sea en el centro de datos, en múltiples nubes públicas o en el borde.