Fujitsu Laboratories, Ltd. y Fujitsu Laboratories of America, Inc. desarrollaron una tecnología de reconocimiento de expresión facial con inteligencia artificial que detecta cambios sutiles en la expresión facial con un alto grado de precisión. La nueva tecnología ha sido desarrollada en colaboración con la Facultad de Ciencias Computaciones de la Universidad Carnegie Mellon (EU).
Uno de los obstáculos para la tecnología de reconocimiento de expresión facial es la dificultad de proporcionar grandes cantidades de datos necesarios para entrenar modelos de detección para cada pose facial, porque las caras generalmente se capturan con una amplia variedad de poses en aplicaciones del mundo real.
Fujitsu desarrolló una tecnología para adaptar diferentes procesos de normalización para cada imagen facial. Por ejemplo, cuando el ángulo de la cara del sujeto es oblicuo, la tecnología puede ajustar la imagen para que se parezca más a la imagen frontal de la cara, permitiendo que el modelo de detección sea entrenado con una cantidad relativamente pequeña de datos. La tecnología puede detectar con precisión cambios emocionales sutiles, incluidas risas incómodas o nerviosas, confusión, etc., y también cuando la cara del sujeto se mueve en un contexto del mundo real.
Fujitsu anticipó que la nueva tecnología se utilizará en una variedad de aplicaciones del mundo real, incluida la facilitación de la comunicación para mejorar el compromiso de los empleados y también para optimizar la seguridad para conductores y trabajadores de una fábrica.
Antecedentes
En los últimos años, las tecnologías que detectan cambios en la expresión facial a partir de imágenes y que leen las emociones humanas han estado atrayendo cada vez más interés. Las tecnologías existentes se han desarrollado principalmente para descubrir modificaciones claras en la expresión facial (por ejemplo, las comisuras de la boca y de los ojos, que se mueven ampliamente).
Estas tecnologías se han utilizado en algunas aplicaciones prácticas, incluida la extracción automática de escenas destacadas en videos y la mejora de las reacciones de los robots. En el futuro, las tecnologías de reconocimiento de expresión facial se utilizarán más ampliamente en una variedad de situaciones, incluida la monitorización del paciente en la atención médica y el análisis de las respuestas de los clientes a los productos en las campañas de marketing.
Efectividad en captura de cambios faciales
Para “leer” las emociones humanas de manera más efectiva, es fundamental capturar los sutiles cambios faciales asociados con las emociones, como la comprensión, el desconcierto y el estrés. Para lograr esto, los desarrolladores han confiado cada vez más de las Unidades de Acción (AU), que expresan las “unidades” de movimiento correspondientes a cada músculo de la cara en base a un sistema de clasificación anatómico. Por ejemplo, las AU han sido utilizadas por profesionales en campos tan variados como la investigación psicológica y la animación.
Las AU se clasifican en aproximadamente 30 tipos según los movimientos de cada músculo facial, incluidos los de las cejas y las mejillas. Al integrar estas AU en su tecnología, Fujitsu ha sido pionera en un nuevo enfoque para descubrir incluso cambios sutiles en la expresión facial. Para detectar AU con mayor precisión, las técnicas subyacentes de aprendizaje profundo requieren grandes cantidades de datos. Sin embargo, en situaciones del mundo real, las cámaras generalmente capturan caras en varios ángulos, tamaños y posiciones, lo que dificulta la preparación de datos de aprendizaje a gran escala correspondientes a cada estado visual / espacial. Por lo tanto, las imágenes capturadas por la cámara afectan negativamente la precisión de la detección.
Tecnologías desarrolladas
En colaboración con la Facultad de Ciencias Computaciones de la Universidad Carnegie Mellon, Fujitsu Laboratories, Ltd. y Fujitsu Laboratories of America Inc. han desarrollado una tecnología de reconocimiento de expresiones faciales a partir de IA, que puede detectar AU con alta precisión, incluso con datos de entrenamiento limitados.
1. Proceso de normalización para ajustar la cara para una mejor semejanza de la imagen frontal
Con esta tecnología, las imágenes de la cara tomadas en varios ángulos, tamaños y posiciones se giran, amplían o reducen y se ajustan de otra manera para que la imagen se parezca más a la frontal del rostro. Esto hace posible detectar AU con una pequeña cantidad de datos de entrenamiento, basados en la vista frontal de la cara del sujeto.
2. Análisis de regiones significativas que afectan la detección de AU para cada AU.
En el proceso de normalización, se convierten múltiples puntos característicos de la cara en la imagen para que se acerquen a las posiciones de los puntos característicos en la imagen frontal. Sin embargo, la cantidad de rotación, ampliación / reducción y ajuste cambia dependiendo de dónde se seleccionan los puntos del rostro. Por ejemplo, si los puntos característicos se seleccionan para estar alrededor de los ojos y realizar el proceso de rotación, la zona de alrededor de los ojos estará cerca de la imagen de referencia, pero partes como la boca estarán desalineadas.
Para abordar este problema, se analizan las áreas que tienen una influencia significativa en la detección de AU de la imagen de la cara capturada y el grado de rotación, ampliación y reducción se ajustan, en consecuencia. Al utilizar diferentes procesos de normalización para cada AU individual, la tecnología desarrollada puede detectar AU con mayor precisión.
Esta tecnología ha logrado una alta tasa de precisión de detección del 81%, incluso con datos de entrenamiento limitados. También es más precisa que otras existentes, según la conclusión de varios benchmarks de la tecnología de reconocimiento de expresión facial (Reconocimiento y Análisis de Expresión Facial 2017).
Fujitsu tiene como objetivo introducir la tecnología en aplicaciones prácticas para diversos casos de uso, incluido el soporte de teleconferencia, la medición del compromiso de los empleados y la supervisión del conductor.
