Reconocimiento en tiempo real de gestos estáticos y dinámicos de la Lengua de Señas Mexicana a través del aprendizaje automático
Autor: Josué Saúl Armenta Espinoza
Doctorado en Informática
La comunicación verbal es esencial para los seres humanos, pero condiciones como la sordera y la mudez impiden que más de 2 millones de mexicanas y mexicanos con discapacidad auditiva hagan uso pleno de esta herramienta. Las lenguas de señas, como la Lengua de Señas Mexicana (LSM), permiten la comunicación no verbal, aunque barreras culturales continúan limitando la integración de sus usuarios. Este trabajo desarrolló un sistema portátil de reconocimiento automático de LSM (SLR) para traducir expresiones al español en tiempo real y así reducir la brecha comunicativa entre las poblaciones sordas y oyentes. Los objetivos incluyeron crear un sistema de adquisición gestual con sensores vestibles, entrenar un modelo de inferencia e implementar una aplicación Android para evaluar su desempeño. Para ello se empleó el brazalete gForce Pro+ y se aplicó una codificación bidimensional de las series temporales que alimenta una red neuronal convolucional (CNN). El modelo alcanzó 98.4 % de precisión en modalidad personalizada y 93.2 % en reconocimiento cruzado, con un tiempo medio de respuesta de 0.88 s al traducir oraciones de hasta cuatro signos, validando su operación en tiempo real. Este enfoque resulta innovador al transformar señales electromiográficas e inerciales en representaciones bidimensionales para CNN, una vía inédita en la investigación sobre LSM. Al acercar la comunicación a millones de personas sordas en México y sus interlocutores oyentes, el sistema potencia tanto la inclusión como el empoderamiento social.