¿Cómo funciona el "Traductor LESSA"?

Nuestro proyecto: "Traductor LESSA" es un sistema que utiliza tecnología de reconocimiento de imágenes para traducir el lenguaje de señas.

Funciona capturando gestos de la mano y otros movimientos del usuario mediante una cámara y luego utiliza algoritmos de inteligencia artificial para interpretar esos gestos y convertirlos a palabras habladas. Gracias a frameworks como MediaPipe y bibliotecas como OpenCV, es posible analizar los keypoints (puntos claves) de la mano para saber en qué posición está y buscar la palabra que le corresponde, para después imprimirla. Un ejemplo de Keypoints que ofrece MediaPipe es el siguiente.

El paquete de modelos de puntos de referencia de la mano detecta la localización de los puntos clave de 21 coordenadas de mano en las regiones de la mano detectadas.