Los resultados del NIST demuestran nuevamente la coherencia y equidad de SAFR entre los grupos raciales

14 de Agosto de 2019 por Reza Rassool, CTO, RealNetworks

WIRED destacó recientemente niveles inaceptables de sesgo de reconocimiento facial en The Best Algorithms Struggle to Recognize Black Faces Equally. Citaron calificaciones bajas en las pruebas de los principales proveedores de reconocimiento facial, según lo informado por el Instituto Nacional de Estándares y Tecnología (NIST) en sus resultados de Julio de 2019. WIRED se centró específicamente en Idemia pero generalizó sus preocupaciones. Aquí está lo que dijeron:

“La prueba NIST desafió los algoritmos para asegurarse de que dos fotos mostraran la misma cara, de forma similar a como un agente fronterizo revisa los pasaportes. En entornos de sensibilidad donde los algoritmos de Idemia coincidían falsamente con los rostros de diferentes mujeres blancas a una tasa de 1 en 10,000, coincidían falsamente con los rostros de las mujeres negras aproximadamente 1 de cada 1,000, 10 veces más a menudo. La tasa de 1 en 10,000 coincidencias falsas a menudo se usa para evaluar los sistemas de reconocimiento facial “.

“El informe NIST de julio cubrió las pruebas de código de más de 50 empresas. Muchas de las mejores en este informe identificaron fallas de rendimiento similares a la diferencia de 10 veces en la tasa de error de Idemia para las mujeres blancas y negras”.

Lo que el artículo de WIRED no señaló es que algunos algoritmos funcionan mucho mejor en relación al sesgo. El algoritmo SAFR de RealNetworks coincidió falsamente con los rostros de las mujeres negras aproximadamente 1 de cada 3,162, aproximadamente 3 veces más a menudo que las mujeres blancas. Si bien esto es competitivamente mejor que la tasa 10x de Idemia, RealNetworks se compromete a reducir aún más el sesgo. La baja tasa de sesgo de SAFR es consistente en los últimos tres informes NIST.

En RealNetworks, definimos criterios de proyecto medidos por NIST para precisión, velocidad, tamaño y bajo sesgo:

  • Precisión: el reconocimiento facial debe tener RMN <3.5% (@ FMR 1: 10K); Velocidad: (para rastrear video en vivo) > 3 reconocimientos por segundo;
  • Tamaño: (para una mejor capacidad de inserción) <100 MB de tamaño de plantilla;
  • Sesgo/equidad – (debido a la falta de polarización en el tono de la piel y el género) <0.25% (@FMR 1: 1K).

Cómo las empresas de reconocimiento facial comparan SAFR con estos criterios

Precisión, velocidad, tamaño, sesgo/equidad medido por las pruebas NIST de Julio de 2019.

Idemia defendió sus resultados de sesgo citando variaciones en su algoritmo probado por NIST versus comercialmente ofrecido. ¿Por qué la discrepancia? En un esfuerzo por lograr los puntajes de prueba NIST más altos posibles, muchas compañías no usan los algoritmos que envían a NIST en sus productos comerciales de reconocimiento facial. Estos algoritmos probados por NIST pueden ser poco sesgados o de alta precisión, pero demasiado lentos o demasiado grandes para un uso práctico. RealNetworks, por otro lado, envía a NIST el mismo algoritmo SAFR que se incluye en sus aplicaciones comerciales: las bajas tasas de polarización de SAFR medidas por NIST son las mismas bajas tasas de polarización experimentadas por los usuarios en el mundo real.

El bajo sesgo es un elemento clave para la confianza y la excelencia en el reconocimiento facial. RealNetworks es una compañía estadounidense comprometida con la identificación y erradicación de sesgos en nuestros algoritmos y brindando tecnología que funciona igualmente bien con cualquier tono de piel o género, asegurando que el reconocimiento facial funcione para todos en nuestra sociedad.