IBM anunció la disponibilidad del popular modelo de lenguaje de código abierto Mixtral-8x7B, desarrollado por Mistral AI, en watsonx, su plataforma de inteligencia artificial y datos, a medida que continúa ampliando sus capacidades para ayudar a los clientes a innovar con sus propios modelos fundacionales y los de una amplia gama de proveedores de código abierto.
IBM ofrece una versión optimizada de Mixtral-8x7b que, en pruebas internas, fue capaz de aumentar el rendimiento o la cantidad de datos que pueden procesarse en un periodo de tiempo determinado en un 50% en comparación con el modelo normal. Esto podría reducir la latencia entre un 35 y un 75%, dependiendo del tamaño del lote, lo que aceleraría la obtención de información. Esto se consigue mediante un proceso llamado cuantización, que reduce el tamaño del modelo y los requisitos de memoria de los LLM y, a su vez, puede acelerar el procesamiento para ayudar a reducir los costos y el consumo de energía.
La incorporación de Mixtral-8x7B amplía la estrategia abierta y multimodelo de IBM para responder a las necesidades de los clientes y ofrecerles opciones y flexibilidad para ampliar las soluciones de IA empresarial en sus negocios. A través de décadas de investigación y desarrollo de IA, la colaboración abierta con Meta y Hugging Face, y las asociación con líderes de modelos, IBM está expandiendo su cartera de soluciones de watsonx.ai para obtener nuevos conocimientos, lenguajes y modalidades.
Las opciones de modelos fundacionales de IBM listos para las empresas y su plataforma de datos e IA watsonx pueden permitir a los clientes utilizar la IA generativa para obtener nuevos conocimientos y eficiencias, y crear nuevos modelos de negocio basados en principios de confianza. IBM permite a los clientes seleccionar el modelo adecuado para los casos de uso correctos y los objetivos de precio y rendimiento para dominios de negocio específicos como las finanzas.
Mixtral-8x7B se construyó utilizando una combinación de Sparse modeling, una técnica innovadora que encuentra y utiliza sólo las partes más esenciales de los datos para crear modelos más eficientes, y la técnica Mixture-of-Experts, que combina diferentes modelos (“expertos”) que se especializan y resuelven diferentes partes de un problema. El modelo Mixtral-8x7B es ampliamente conocido por su capacidad de procesar y analizar rápidamente grandes cantidades de datos para proporcionar perspectivas relevantes para el contexto.
Esta semana, IBM también ha anunciado la disponibilidad de ELYZA-japanese-Llama-2-7b, un modelo LLM japonés de código abierto de ELYZA Corporation, en watsonx. IBM también ofrece en watsonx los modelos de código abierto Llama-2-13B-chat y Llama-2-70B-chat de Meta, así como otros modelos de terceros, y se espera que se añadan más en los próximos meses.
