Detección de pose
OpenPose con learnopencv
El primer acercamiento a la detección de cuerpo de los tocadores se realizó con una implementación alternativa de openpose, utilizando OpenCV.Con una pequeña base, y código extraído de la pagina LearnOpenCV, se entrenó un modelo de cuerpo y se le aplicó a algunas tomas de prueba. Las cuales arrojaron resultados cercanos pero no la gran precisión que se obtiene con las implementaciones originales de openpose.
OpenPose original
Se logró luego de muchas dificultades técnicas, ya que la instalación requiere de una computadora con buenas especificaciones tecnicas, correr la implementación original de openpose sobre algunos videos de la base de datos.
Conclusiones obtenidas a partir de la implementación y observación
- Se pudo observar el poco movimiento de los tocadores de redoblante con respecto a los tocadores de platillos y se analiza que la información a extraer de un análisis mas profundo puede ser de utilidad en el segundo caso.
- Se analizó la poca influencia del fondo en el resultado del algoritmo, los instrumentos presentan un desafío mucho mayor al algoritmo que el fondo y son los responsables de variaciones en la detección del "esqueleto" del músico.
- La velocidad muy lenta del algoritmo, aun no tratándose de la mayor resolución posible, hace que no sea el mejor método de extracción de información de videos de tantos fps, ya que el procesar un video de 25 segundos puede demorar toda una noche y por lo tanto no es fácil variar los parámetros y ver que efectos tiene esto sobre la detección.
- La detección de manos no brindo mayor información sobre el tipo de toque en el caso de ninguno de los dos instrumentos, contrario a lo pensado previamente, esta detección puede dar buena información sobre la posición de las manos pero no más, y debido al alto costo computacional en comparación con otros métodos como puede ser la detección de piel, esto no parece ser lo optimo.
Conclusiones obtenidas a partir de la implementación y observación
Flags utilizadas para la ejecución de la implementación original de openpose:
--tracking 2
--number_people_max 1
--profile_speed=12
--write_video_fps 5
--net_resolution 120x120
--model BODY_25
--model COCO