Facial Image Processing to Monitor Physical Exercise Intensity
Data
2020-06-22
Autores
Título da revista
ISSN da revista
Título do Volume
Editora
Resumo
Os avanços registados na tecnologia de visão por computador têm possibilitado a sua aplicação em várias áreas, incluindo as ciências do desporto. Nas últimas décadas várias tecnologias foram desenvolvidas para monitorizar a intensidade do exercício físico, no entanto ainda se sente a falta de técnicas confiáveis e não invasivas (contactless). Existem vários parâmetros medíveis para quantificar a intensidade do exercício, sendo a frequência cardíaca uma das mais utilizadas. Contudo o esforço também pode ser revelado pela expressão facial do praticante, sem recorrer a sensores de contato direto. Nesta tese é proposta uma abordagem baseada em técnicas de visão por computador para quantificar o nível de intensidade do exercício físico, usando caraterísticas faciais como a cor e a expressão. O problema de investigação é abordado usando técnicas de aprendizagem automática: classificação e regressão. No primeiro modelo proposto, a intensidade do exercício é classificada em quatro níveis de intensidade, usando algoritmos tradicionais de aprendizagem automática e uma rede neuronal convolucional. No segundo modelo, a intensidade do exercício é estimada usando modelos de regressão linear e multivariada, em que as variáveis independentes são os valores de intensidade média de cor, calculado num recorte da imagem situada na região da testa. O conjunto de dados para as experiências foram recolhidos em laboratório com vinte indivíduos familiarizados com os protocolos de cicloergómetro, durante a realização de um exercício submáximo de ciclismo. Os dados de frequência cardíaca foram adquiridos com um sensor de contacto e uma câmara estática fez a captura do vídeo facial. As imagens foram obtidas e pré-processadas a partir do vídeo, de acordo com os parâmetros necessários aos modelos de classificação e de regressão. O primeiro modelo obteve um grau de precisão até 99% sobre um conjunto de teste obtido aleatoriamente do conjunto inicial. No segundo modelo obteve-se um coeficiente de correlação de Pearson acima de 0.98. Estes resultados sugerem que as abordagens propostas são adequadas para estimar a intensidade do exercício físico.
Advances in computer vision technology allow to develop applications is several areas including sports sciences. In the last few decades, various technologies were developed to monitor exercise intensity, however, there are still lacking reliable non-invasive techniques. There are many measurable parameters to quantify exercise intensity, among them, heart rate is one of the most used. However, the physical exercise intensity can be quantified by analysing facial expression without using any contact sensor. The present thesis proposes an approach based on computer vision techniques to quantify intensity of physical exercise using facial features such as colour and expression. The research problem is formulated and addressed using supervised machine learning models such as classification and regression. In the first model, the classification of physical exercise intensity up to four different levels of exertion has been done using traditional machine learning techniques and Convolutional Neural Network. In the second model, the level of exertion has been predicted using linear univariate and multivariate regression, where the input variables were average colour intensity values extracted from a small forehead patch. The dataset for the experiments were collected in laboratorial normalized settings from twenty subjects familiarized with a cycloergometer protocols during submaximal cycling exercise. Heart rate data were collected using a contact-sensor device and a frontal stationary camera captured the facial video. The separate image dataset was prepared according to the goal of the experiment (classification and regression problem) from the facial video. In the first model, we obtained up-to 99% accuracy from a randomly split dataset. In the second model, we obtained the Pearson correlation coefficient more than 0.98. These results reveal that the proposed approaches are reliable to quantify physical exercise intensity.
Advances in computer vision technology allow to develop applications is several areas including sports sciences. In the last few decades, various technologies were developed to monitor exercise intensity, however, there are still lacking reliable non-invasive techniques. There are many measurable parameters to quantify exercise intensity, among them, heart rate is one of the most used. However, the physical exercise intensity can be quantified by analysing facial expression without using any contact sensor. The present thesis proposes an approach based on computer vision techniques to quantify intensity of physical exercise using facial features such as colour and expression. The research problem is formulated and addressed using supervised machine learning models such as classification and regression. In the first model, the classification of physical exercise intensity up to four different levels of exertion has been done using traditional machine learning techniques and Convolutional Neural Network. In the second model, the level of exertion has been predicted using linear univariate and multivariate regression, where the input variables were average colour intensity values extracted from a small forehead patch. The dataset for the experiments were collected in laboratorial normalized settings from twenty subjects familiarized with a cycloergometer protocols during submaximal cycling exercise. Heart rate data were collected using a contact-sensor device and a frontal stationary camera captured the facial video. The separate image dataset was prepared according to the goal of the experiment (classification and regression problem) from the facial video. In the first model, we obtained up-to 99% accuracy from a randomly split dataset. In the second model, we obtained the Pearson correlation coefficient more than 0.98. These results reveal that the proposed approaches are reliable to quantify physical exercise intensity.
Descrição
Tese de doutoramento apresentada à Universidade de Trás-os-Montes e Alto Douro para o cumprimento dos requisitos necessários à obtenção do grau de Doutor em Informática