Um estudo de validação recente foi publicado por Trowell et al. (2024) comparando uma versão inicial do aplicativo Metric VBT (v0.6.0) com captura de movimento 3D.
Embora Taber et al. (2023) tenham demonstrado que o Metric beta (v0.5.4) era válido e confiável quando comparado à captura de movimento 3D para medir a velocidade da barra e a amplitude de movimento no agachamento, supino e levantamento terra, este estudo recém-publicado de Trowell et al. não fez a mesma recomendação.
Embora os resultados não tenham sido tão fortes quanto esperávamos, no interesse da transparência e do desenvolvimento contínuo, nesta postagem do blog, compartilho os resultados deste artigo junto com nossas melhorias feitas desde o Metric v0.6.
Confira o artigo e baixe o texto completo em PDF neste link →
Detalhes do estudo
Autor principal: Danielle Trowell
Título: Validação de um aplicativo móvel disponível comercialmente para treinamento de resistência baseado em velocidade
Versão métrica testada: v0.6.0 (beta)
TL; DR: O VBT métrico (v0.6.0) mostrou resultados mistos quando comparado à captura de movimento 3D, com detecção precisa de repetições de agachamento, mas precisão limitada nas medições de velocidade e amplitude de movimento para agachamento e supino, indicando a necessidade de melhoria nas aplicações de treinamento baseadas em velocidade.
Métodos de estudo
O estudo comparou o Metric VBT (v0.6.0) a um sistema de análise de movimento 3D Vicon para contar repetições com precisão, medir a amplitude de movimento (ROM) e a velocidade média no agachamento e no supino.
Este estudo levou o Metric a seus limites absolutos, analisando mais de 4000 amostras de repetições para agachamento e supino por meio do uso de 24 sujeitos e até 5 posicionamentos de dispositivos por repetição para comparar dados métricos em uma variedade de ângulos de gravação (+20º → -20º). O estudo usou vários dispositivos, modelos mais antigos e mais novos (iPhone 8 - iPhone 13 Pro).
- 24 indivíduos saudáveis (15 homens, 9 mulheres) com experiência variada em treinamento de resistência participaram do estudo.
- Foram utilizadas cargas de agachamento e supino traseiro de 25 a 100% de 1RM.
- Dispositivos de medição:
- Aplicativo Metric VBT (v0.6.0) em execução em vários dispositivos iOS
- Sistema de análise de movimento Vicon 3D (padrão ouro)
- Posições da câmera: Cinco ângulos (-20°, -10°, 0°, +10°, +20°) em relação à extremidade direta da barra
- Variáveis medidas:
- Detecção de repetição
- Amplitude de movimento da barra (RoM)
- Velocidade média da barra
Resultados do estudo e principais estatísticas
A métrica não foi considerada uma ferramenta confiável de rastreamento de velocidade neste estudo.
Explicaremos por que isso não foi uma surpresa para nós aqui na Metric mais adiante neste artigo, mas primeiro, vamos detalhar as principais descobertas do estudo.
Compreendendo as pontuações do CCC:
O estudo usa o Coeficiente de Correlação de Concordância (CCC) de Lin para medir a concordância entre o Metric e o sistema Vicon. As pontuações do CCC variam de -1 a 1, onde 1 indica concordância perfeita. Geralmente, as pontuações são interpretadas como:
- ≥0,99: concordância/correlação quase perfeita
- 0,95 - 0,99: Concordância substancial (alta)
- 0,90 - 0,95: Concordância moderada
- < 0,90: Concordância insatisfatória
Agora, vamos ver os resultados:
1. O Metric era muito bom em contar repetições, especialmente para agachamentos, mas tinha alguns problemas com supino.
- Agachamento: excelente desempenho com > 99% de precisão e recuperação em todos os ângulos da câmera. Apenas 5 repetições perdidas de 2.195 realizadas, com zero repetições de falso positivo (fantasma).
- Supino: menor precisão com precisão variando de 94,0% a 97,3% e recall de 97,9% a 98,9%. Isso significa que o Metric às vezes perdeu repetições ou contou repetições extras que não aconteceram.
Acreditamos que os problemas no supino se devem à menor amplitude de movimento, ao caminho curvo da barra e ao fato de os representantes fantasmas estarem levantando/desmontando a barra entre as séries.
2. A métrica era razoavelmente precisa na medição da amplitude de movimento (ROM), mas tinha espaço para melhorias.
- O agachamento foi novamente rastreado melhor do que o supino.
- Concordância moderada a substancial com a Vicon (CCC: 0,941-0,975).
- Limites médios de concordância (LoA): -5,45 a 4,94 cm.
- O supino teve uma correlação menor com a captura 3D, mas ainda há alguma concordância
- Concordância moderada com a Vicon (CCC: 0,901-0,926).
- LoA médio: -5,80 a 3,55 cm.
Simplificando, o rastreamento de ROM com o Metric v0.6 estava errado em ± 5 cm (2 polegadas), em média, tanto no supino quanto no agachamento. Um viés de 5 cm pode ser tolerável para alguns fins gerais de rastreamento, mas o fato de o Metric ter fornecido resultados de ROM a +5 e 5 cm da linha de base do MOCAP deixa o Metric beta v0.6 com utilidade limitada.
3. A métrica teve ainda mais dificuldades com a validade da velocidade média. Ele mostrou sinais de confiabilidade, superestimando consistentemente a velocidade da barra versus a captura de movimento 3D.
- Agachamento:
- Concordância deficiente com a Vicon (CCC: 0,826-0,890).
- Superestimação consistente (viés médio: 0,09-0,13 m/s).
- LoA médio: -0,03 a 0,25 m/s.
- Supino:
- Concordância baixa a moderada com Vicon (CCC: 0,881-0,931).
- Superestimação consistente (viés médio: 0,06-0,09 m/s).
- LoA médio: -0,08 a 0,26 m/s.
As medições de velocidade média do Metric foram consistentemente mais rápidas do que o MOCAP em 0,1-0,13 m/s no agachamento e 0,06-0,09 m/s no supino
Embora o Metric tenha um viés consistente (algo que é útil do ponto de vista da confiabilidade), essas discrepâncias eram muito grandes para que o Metric v0.6 fosse uma ferramenta válida de rastreamento de velocidade, indicando a necessidade de melhorias nessa área.
4. A métrica v0.6 se tornou menos precisa quanto maior o ângulo da câmera em relação ao final da barra
- Geralmente, a precisão diminuía à medida que a câmera se afastava da perpendicular (0°) em relação ao participante.
- A posição 0° normalmente mostrou os melhores resultados em todas as medições, enquanto ±20º foi o pior.
Em resumo, embora essa versão inicial do Metric (v0.6.0) fosse capaz de contar as repetições de agachamento e de “esferográfica” tanto na ROM quanto na velocidade média, ela precisava de melhorias significativas para se tornar uma ferramenta de rastreamento de nível profissional.
Melhorias no algoritmo de rastreamento métrico desde a versão beta
Felizmente, ninguém está mais usando a versão beta 0.6.0 do Metric em seu treinamento!
A v0.6.0 sinalizou a versão beta final disponível publicamente do Metric, eventualmente substituída pela versão principal do Metric v1.0 em novembro de 2022.
Versão 1.0 Milestone
Logo após o término da coleta de dados neste estudo, lançamos a versão 1.0 do Metric, apresentando dois novos recursos importantes na forma como detectamos e rastreamos levantamentos de barra.
- Classificação inteligente de representantes. Determinar os pontos inicial e final do representante é surpreendentemente difícil. Com a versão 1.0, reescrevemos o algoritmo inteligente Metric para encontrar esses momentos-chave em seus representantes e aumentar significativamente a precisão. Esse sistema também permitia o manuseio de movimentos balísticos, como variações de captura e limpeza.
- Correção dos eixos X e Z. A correção dos eixos X e Z permite uma melhor correção e sensibilidade tanto para os caminhos curvos das barras quanto para o posicionamento específico do dispositivo e o ângulo de gravação usados em cada conjunto. Isso se alinha às correções usadas por outras tecnologias de rastreamento de velocidade, como Gymaware e RepOne, que também oferecem correção de eixo para maior precisão.
Melhorias iterativas contínuas
Essas descobertas foram cruciais para orientar nossos esforços de desenvolvimento desde que o Metric saiu da fase beta.
A versão 1.0 mostrou melhorias significativas na confiabilidade e validade, afirmando que a visão computacional é capaz de fornecer dados de treinamento de alta precisão. Para acelerar ainda mais o desenvolvimento, abrimos um recurso público de relatórios de bugs diretamente no aplicativo Metric, permitindo que levantadores e treinadores nos enviem seus vídeos e dados de rastreamento para inspeção.
Graças a esse feedback da comunidade, fizemos grandes avanços entre a versão 1.0 e a atual, tornando o Metric mais rápido, mais eficiente e, o mais importante, mais preciso na entrega de dados de treinamento.
Algumas de nossas principais áreas de melhoria de rastreamento desde a v1.0 foram
- Zoom da câmera e bloqueio de foco da placa para acomodar mais posicionamentos do telefone
- Confiabilidade para uma maior variedade de posições do telefone, incluindo colocar o telefone mais abaixo em relação à barra. A métrica agora é confiável entre +25º e - 25º do final da barra.
- Modo de câmera avançado para reduzir o desfoque de movimento em elevadores explosivos
- Detecções e rastreamento de baixa luminosidade são melhor tratados com mais processamento de vídeo em tempo real para uma detecção de imagem mais nítida
- Manipule períodos de descanso mais longos no set para permitir que um único vídeo grave e forneça resultados para um conjunto completo de clusters.
- Processamento de vídeo mais rápido para reduzir o tempo de processamento e a eficiência da bateria do dispositivo
- Diversas filtragens e correções de caixas extremas
Obrigado por seu apoio contínuo e pelos relatórios de bugs e feedback contínuos, eles nos ajudam a continuar melhorando o Metric e informam onde concentramos nossa energia!
Fique ligado para mais atualizações e, como sempre, suas perguntas e ideias são bem-vindas.
Você pode baixar o aplicativo Metric VBT para iOS neste link →
ATUALIZAÇÃO: Validação positiva para Metric v4.5.0
Esse trabalho árduo valeu a pena com uma recente validação do estudante de mestrado Antonio Šagovac, que descobriu que o Metric VBT versão 4.5 mostrou fortes correlações com o transdutor de posição linear Vitruve no supino. Este estudo é o primeiro a validar uma versão pós-beta do Metric VBT, mostrando a robustez e a precisão do aplicativo em condições reais.
