Equilibrio entre el reconocimiento facial y la precisión en el mundo real

11 de febrero de 2019

Evaluación de los sistemas de reconocimiento facial a través de las puntuaciones del Instituto Nacional de Estándares y Tecnología (NIST). Aquí está una guía objetivo sobre cómo navegar por los datos del NIST y entenderlos mejor.

Las pruebas de benchmark son una manera útil de evaluar y contrastar el estado del reconocimiento facial, pero las pruebas son fácilmente mal comprendidas y frecuentemente distorsionadas. Las pruebas más destacadas de la industria de reconocimiento facial, que comenzaron en 2000, son conducidas por el NIST, una agencia gubernamental que forma parte del Departamento de Comercio de Estados Unidos.

El NIST realiza una batería continua de pruebas, conocida como Prueba de Proveedor de Reconocimiento de Rostros (FRVT), para medir las principales características de los algoritmos de reconocimiento facial, incluyendo precisión, rendimiento y sesgos. Las empresas e instituciones académicas tienen la oportunidad de enviar uno o más algoritmos para que el NIST aplique un conjunto de pruebas. Los dos resultados más recientes de la prueba FRVT tienen más de 270 páginas y se publicaron en Junio/18 y Enero/19. El NIST no sólo mide las características específicas de los algoritmos faciales, como el rendimiento, la precisión y los sesgos, así como los patrones de mediciones reportan atributos por tipo de imagen, como fotos posadas, de cámara web o imágenes de situaciones reales. Las imágenes de situaciones reales (wild images) son caras desconocidas capturadas por imágenes de vídeo: son imágenes complejas porque las caras pueden tener variaciones de ángulo e inclinación; sin mencionar que puede haber muchas caras dentro de un mismo marco de vídeo. Las imágenes de situaciones reales desafían cualidades faciales porque están insertadas en condiciones del mundo real, para las cuales el SAFR fue proyectado. El NIST realiza sus pruebas de reconocimiento facial utilizando fotografías estáticas. El reconocimiento facial en vídeo en vivo requiere optimización combinada en la captura, precisión y velocidad.

El SAFR de RealNetworks es el algoritmo de reconocimiento facial de alto rendimiento más preciso para vídeo en vivo, según lo probado por el NIST.

Los proveedores, investigadores e instituciones académicas pueden someter sus soluciones a la prueba de FRVT del NIST y no precisamente enviar su algoritmo de reconocimiento facial comercial y real, lo que puede llevar a resultados engañosos. Un proveedor o académico puede enviar un algoritmo que funcione bien en precisión pero que en condiciones comerciales reales tal vez sea tan computacionalmente caro que se vuelva impracticable. Por ejemplo, en los resultados del FRVT de Enero, varios algoritmos alcanzaron marcas de alta precisión para rostros en situaciones reales (wild faces) pero se ejecutaron tan lentamente – tres a cinco veces más lento que el algoritmo SAFR – que serían impracticables en muchas condiciones del mundo real, exigiendo poder computacional extremadamente caro, tiempo excesivo para reconocer un rostro y ser sobrecargado por muchas caras en el vídeo.

Algunos de los algoritmos probados por el NIST se pueden comparar con los coches de Fórmula 1: se construyen para un buen rendimiento en un circuito determinado, pero no reflejan el mundo comercial real, que requiere equilibrio en las condiciones de dirección, ruido, frenado, capacidad de alcance , seguridad, y comodidad.

Entonces, ¿cómo el SAFR ejecutó contra el algoritmo de mayor precisión en el informe de Enero? El algoritmo de mayor precisión del informe de Enero tiene una puntuación para rostros en situaciones reales (wild faces) de 0,028 pero es 4,7 veces más lento y 2,4 veces más pesado que el algoritmo SAFR, que tiene una puntuación de 0,048. El segundo algoritmo con mayor precisión del mes de Enero tuvo un buen rendimiento en precisión, pero en comparación con el SAFR en una implementación comercial a gran escala y en el mundo real, sería necesario tener 2-3 veces el hardware local para obtener resultados que serían de 4 a 5 veces más lentos, como se muestra en el gráfico siguiente. El aumento en la precisión tiene un efecto debilitante en el rendimiento y el costo.

Alto rendimiento hace una diferencia material, ya que aumenta el número de oportunidades para tener el reconocimiento en un sistema computacionalmente restringido. En el grupo de algoritmos que superaron la precisión del 95%, el SAFR es el modelo más rápido y más ligero. Esto significa que el SAFR puede identificar una cara varias veces durante el mismo período de tiempo de otros algoritmos, componiendo posteriormente la precisión de la plataforma. Como resultado, el SAFR puede identificar inequívocamente un solo individuo en una galería de 10.000 registros, más rápido que cualquier otro algoritmo.

El SAFR es altamente competitivo en precisión para fotos: según lo probado por el NIST, está clasificado entre los 10 principales productos comercialmente disponibles en el mundo y entre los tres primeros entre empresas de Estados Unidos. Sin embargo, como se observa, la puntuación de precisión del NIST no transmite la imagen entera. El NIST mide la correspondencia de una sola imagen con una sola imagen para las caras, mientras que en la vida real las personas que se desplazan dentro de un marco de vídeo están en constante movimiento. El SAFR utiliza inteligencia de punta para seleccionar la imagen correcta a partir de cientos de marcos de vídeo. Esto significa que la precisión del SAFR es realmente mayor que la medida por el NIST, ya que el SAFR monitorea continuamente el vídeo para capturar y enviar el mejor marco para reconocimiento. El NIST no utiliza vídeo en sus pruebas.

El SAFR se diferencia de otros algoritmos de reconocimiento facial porque alcanza resultados con una fracción del poder computacional exigido por la mayoría de los algoritmos de su categoría. Muchas empresas que se someten al NIST están optimizadas para obtener alta precisión, pero no logran encontrar un equilibrio entre rendimiento y precisión.

El SAFR de RealNetworks se ha comprometido a proporcionar la mejor precisión y rendimiento con el mínimo de sesgo, usando hardware fácilmente disponible para reconocer personas en condiciones del mundo real.

SAFR es la principal plataforma para el reconocimiento facial en el mundo real.

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión /  Cambiar )

Google photo

Estás comentando usando tu cuenta de Google. Cerrar sesión /  Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión /  Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión /  Cambiar )

Conectando a %s