Detección de palos

Un primer paso para el análisis a partir de video de una ejecución de redoblante es la localización de los palos en la escena.

Se observa que, gracias a la toma de la cámara atada al redoblante, el plano del parche está quieto relativo a la cámara y no es necesario detectar la posición del aro (uno de los objetivos planteados inicialmente) que será siempre la misma.

Metodología

Durante la captura, los palos fueron coloreados para trabajar a partir de una máscara de color que permita separarlos del resto de la imagen.

Seguidamente se emplearon métodos con el objetivo de determinar los extremos del palo, partiendo de la base de modelarlo como un segmento en la imagen.

Finalmente, a partir de la posición de dicho segmento en función del tiempo se probó un posible abordaje para determinar los instantes en los que ocurre un golpe.

Máscara por color

Como mencionamos, se enmascaró un entorno de color, en este caso rojo, usando el espacio HSV.

Las condiciones de iluminación y la posición de los intérpretes no presentan variaciones tales que pudieran modificar este factor; por lo tanto, se buscaron parámetros para el entorno de rojo ajustando según uno de los videos y se espera que el resto responda del mismo modo.

Caracterización por componentes conexas

En este abordaje para la localización de los palos se etiquetaron regiones conexas de la imagen enmascarada y binarizada.

Se hizo la suposición de que las dos regiones conexas de mayor área en la imagen corresponden a cada uno de los palos.

Luego se encontró para cada una de estas regiones el rectángulo rotado de menor área que las contuviera.

La paralela media más larga para este rectángulo es tomada como el segmento que caracteriza al palo, buscado en esta sección.

Análisis de resultados

Para realizar un análisis cualitativo de los resultados se graficaron algunas magnitudes en paralelo con el audio de la captura.

Se tomó la posición en el eje Y de la punta del palo como un factor determinante en caso de pretender detectar golpes.

Bajo la suposición de que un golpe es el resultado del palo rebotando contra el parche del redoblante, un cambio brusco de sentido en la velocidad del palo caracterizará los golpes. Por eso se halla la derivada segunda y se buscan picos de la misma.

Tratamiento de la señal

La señal y(t) fue filtrada con una mediana móvil de ventana w=2, lo mínimo posible, suficiente para descartar algunos glitches dispersos que se presentan en la detección de la punta del palo.

Con el fin de obtener de manera sencilla magnitudes que representen el movimiento de la punta del palo relativa al redoblante y no al frame, se hace un filtro pasa altos, para eliminar el movimiento lento que hace a la punta pegar más arriba o mas abajo en el frame. Esta información no es relevante para el abordaje de detección de golpes que estamos realizando.

Tomaremos este video para realizar el ajuste y probaremos aplicar este algoritmo sin reajustar a un video diferente para ver los resultados.

Ajuste

Palo izquierdo

En este enfoque el único parámetro a detereminar es el umbral para considerar válido un máximo local de la aceleración. Observamos que para el umbral elegido tenemos un falso positivo en el fragmento mostrado, y dos golpes presentes en audio que no surgen de analizar el palo izquierdo (mirando de frente).