Segmentación de instrumentos de Batería de murga Uruguaya

Introducción

Este proyecto se plantea como objetivo la captura de una base de datos de filmaciones estéreo de ejecuciones de redoblante y platillos de murga y el análisis de esta base de datos para la localización espacial del intérprete, las baquetas, el aro del redoblante y los platillos.

Este análisis podría ser aprovechado a futuro en la caracterización de golpes para una transcripción musical, clasificando en función de dónde y cómo ocurrieron dichos golpes.

Se decide tomar estos dos instrumentos ya que presentan dificultades distintas en su detección y el análisis del toque de bombo de murga resulta similar en parte al redoblante y también al de percusión de candombe analizado en años anteriores.

Objetivos

• Calibración de las cámaras.

• Detección de baquetas y aro del redoblante.

• Detección de platillos.

• Estimación de la pose del intérprete: manos y brazos.

• Análisis de relevancia de la posición y el movimiento corporal para la ejecución de cada instrumento.

• Creación base de datos (filmaciones estéreo) de ejecuciones de:

• Redoblante

• Platillos

• Localizacion espacial de:

• Intérprete

• Baquetas

• Aro del redoblante

• Platillos

Métodos propuestos

Sobre imágenes estéreo a 240fps:

• LSD

• Detección de formas

• Algoritmo de estimación de pose de brazos, manos y cabeza (ej: OpenCV OpenPose)

Areas de estudio

Tutor: Álvaro Gómez