Spectroscopy data-driven models for grape quality assessment in precision viticulture
Data
2022-04-05
Autores
Título da revista
ISSN da revista
Título do Volume
Editora
Resumo
Currently, the wine industry is facing a serious competitive challenge that involves raising the production paradigm to new levels of excellence. Grape ripeness assessment, based on the evolution of enological parameters over time, is one of the most important factors for ensuring and improving wine quality, playing a decisive role in the definition of the optimal time for harvesting and in the selection of grapes according to the desired characteristics of the final product. In this context, precision viticulture technologies have been explored to accomplish a faster, non-destructive, non-invasive and ultimately more sustainable assessment of grape maturity. In particular, hyperspectral imaging has emerged as a promising cost-effective alternative to the conventional physical and chemical methods to predict important enological parameters and assist in harvesting critical decisions. However, the application of such technology involves large volumes of data that need to be explored and transformed into useful information so that it can be used as a basis for decision-making. Such large amount of data, together with the large variability associated, raise computational challenges for data-drivenmodelling, making the selection of proper models a complex and cumbersome task. Therefore, the overall objective of this thesis was outlined in order to provide consolidated insights for the development of precision viticulture, boosting the application of a non-invasive and nondestructive solutionsfor monitoring the grapes ripeness. The base technology was hyperspectral imaging of proximity in reflectance mode, with the development of data-driven models being the main focus of this thesis. Sugar content, pH and anthocyanin concentration were the parameters considered for grape ripeness assessment. More specifically, and in order to take advantage of the highly complex and informative datasets, various machine learning methods were developed, tested and compared, whose performance was assessed through crossvalidation and independent test sets for generalization ability evaluation, using samples from different vintages, varieties and growth conditions not used during the training process. Another topic discussed in this thesis was the development of more complex models, namely deep learning algorithms, in order to assess their generalization ability with new samples compared to classical machine learning methods, and also to investigate the need for more training data to properly train such class of complex models. To do so, two one-dimensional convolutional neural networks architectures were proposed, one simpler and another more complex. Additionally, a transfer learning mechanism based on the more complex architecture was xviii implemented to evaluate improvements in the model’s generalization. The effect of different spectral preprocessing techniques was also investigated for both approaches, machine learning and deep learning. Overall, the results obtained demonstrated that the large differences in terroir, between varieties and between vintages have a great impact on grape ripeness and, consequently, on the generalization robustness of the predictive models developed. Moreover, the results for models’ generalization ability showed good performances under lab conditions (laboratory-acquired data), with deep learning outperforming the machine learning methods and achieving very good predictions, demonstrating the effectiveness and robustness of the methodology. Finally, the evaluation of important spectral regions corresponding to the enological parameters under analysis was another topic covered in this thesis. For machine learning approaches, this was done through the analysis of regression coefficients, while for deep learning approach, it was proposed a model explainability technique, based on regression activation maps, to discriminate between regions in the spectrum that the deep learning model has more intensively used to perform the predictions. Here, the results obtained provided good indicators, highlighting important spectral regions and opening new ways to reduce the cost of the equipment and the dimensionality of the data without losing predictive power. As a final remark, the results of this thesis contributed to the progress in the knowledge regarding the application of imaging spectroscopy combined with appropriate predictive methods, and how the models are influenced by the natural variability of the samples and the specific characteristics that may be present inside a vineyard, representing an important step towards a more sustainable grape quality assessment.
Atualmente, a indústria vitivinícola enfrenta um sério desafio competitivo que envolve elevar o paradigma da produção a novos níveis de excelência. Com os consumidores a serem cada vez mais informados e exigentes, os viticultores têm-se visto obrigados a trabalhar com recursos cada vez mais controlados e a apostar na qualidade em detrimento da quantidade de modo a alcançarem diferenciação nos seus produtos e a melhorarem a qualidade e consistência dos seus vinhos. O estado de maturação das uvas é um dos fatores mais importantes e decisivos para garantir a qualidade dos vinhos, o que implica a apanha das uvas no seu ponto ótimo de maturação e a sua seleção de acordo com as características desejadas para o produto final. A monitorização do perfil de maturação das uvas é frequentemente feita através da recolha de amostras de bagos de uvas e posterior análise dos parâmetros enológicos por métodos físicoquímicos convencionais, processo este que pode ser demorado, destrutivo, com impactos ambientais e que limita a análise a um determinado número de amostras. Em resposta, têm vindo a ser exploradas tecnologias de viticultura de precisão que permitem uma análise rápida, não destrutiva e não invasiva da uva. Em particular, a imagiologia hiperespectral tem surgido como uma alternativa promissora para estimar parâmetros enológicos associados à maturação e auxiliar na tomada de decisões críticas. No entanto, a aplicação desta tecnologia envolve grandes volumes de dados que precisam de ser explorados e convertidos em informação útil para que possa ser utilizada como base no processo de tomada de decisões. Essa enorme quantidade de dados aliada à variabilidade intrínseca do problema (derivada de diferenças de terroir, variedades) representam sérios desafios para os modelos baseados em dados, transformando a seleção de uma abordagem adequada ao problema em uma tarefa mais complexa. Neste sentido, o objetivo geral desta dissertação foi delineado de maneira a dar um contributo importante para o desenvolvimento de viticultura de precisão de modo a impulsionar a aplicação de uma solução não invasiva e não destrutiva na monitorização da maturação das uvas. Assim, esta tese investigou a potencial aplicabilidade da imagiologia hiperespectral de proximidade em modo de reflectância, focando-se no desenvolvimento de modelos baseados em dados espectroscópicos para estimar o teor de açúcar, pH e a concentração de antocianinas. Mais especificamente, e de modo a tirar partido dos conjuntos de dados altamente complexos e informativos, foram desenvolvidos e comparados vários modelos de aprendizagem máquina, cujo desempenho foi aferido por meio de validação cruzada e conjuntos independentes de teste xx para avaliação da capacidade de generalização, usando amostras de diferentes anos, variedades e condições de crescimento não utilizadas no processo de treino. Outro tópico discutido nesta tese refere-se ao desenvolvimento de modelos mais complexos, nomeadamente algoritmos de aprendizagem profunda, de modo a avaliar a sua capacidade de generalização para novas amostras, comparando o seu desempenho com o dos métodos de aprendizagem de máquinas, e também para investigar a necessidade de usar mais dados de treino para desenvolver adequadamente estes modelos mais complexos. Para tal, foram propostas duas arquiteturas de redes neurais convolucionais unidimensionais com níveis de complexidade diferente, e implementado um mecanismo de transferência de aprendizagem com base na arquitetura mais complexa para avaliar possíveis melhorias na generalização dos modelos. Foi ainda investigado o efeito de diferentes técnicas de pré-processamento espectral quer nos modelos de aprendizagem máquina quer de aprendizagem profunda. No geral, os resultados obtidos mostraram que as grandes diferenças de terroir, entre variedades e entre anos têm um grande impacto na maturação das uvas e, consequentemente, na robustez dos modelos preditivos desenvolvidos. Além disso, os resultados obtidos para a generalização revelaram um bom desempenho geral dos modelos para condições de laboratório, com os modelos de aprendizagem profunda a superarem os de aprendizagem máquina, demonstrando a eficácia e robustez da metodologia particularmente para capacidade de generalização do modelo com diferentes variedades e diferentes colheitas. Por último, foi também abordada a avaliação de regiões espectrais importantes correspondentes aos parâmetros enológicos em análise. Os resultados obtidos forneceram bons indicadores, abrindo caminho para a redução do custo do equipamento e dimensionalidade dos dados sem perder poder preditivo. Como observação final, os resultados desta tese permitiram avanços no conhecimento da aplicabilidade da imagiologia espectral combinada com métodos de previsão apropriados, e em como os modelos são influenciados pela variabilidade natural das amostras, representando um passo importante para uma avaliação mais sustentável da qualidade das uvas.
Atualmente, a indústria vitivinícola enfrenta um sério desafio competitivo que envolve elevar o paradigma da produção a novos níveis de excelência. Com os consumidores a serem cada vez mais informados e exigentes, os viticultores têm-se visto obrigados a trabalhar com recursos cada vez mais controlados e a apostar na qualidade em detrimento da quantidade de modo a alcançarem diferenciação nos seus produtos e a melhorarem a qualidade e consistência dos seus vinhos. O estado de maturação das uvas é um dos fatores mais importantes e decisivos para garantir a qualidade dos vinhos, o que implica a apanha das uvas no seu ponto ótimo de maturação e a sua seleção de acordo com as características desejadas para o produto final. A monitorização do perfil de maturação das uvas é frequentemente feita através da recolha de amostras de bagos de uvas e posterior análise dos parâmetros enológicos por métodos físicoquímicos convencionais, processo este que pode ser demorado, destrutivo, com impactos ambientais e que limita a análise a um determinado número de amostras. Em resposta, têm vindo a ser exploradas tecnologias de viticultura de precisão que permitem uma análise rápida, não destrutiva e não invasiva da uva. Em particular, a imagiologia hiperespectral tem surgido como uma alternativa promissora para estimar parâmetros enológicos associados à maturação e auxiliar na tomada de decisões críticas. No entanto, a aplicação desta tecnologia envolve grandes volumes de dados que precisam de ser explorados e convertidos em informação útil para que possa ser utilizada como base no processo de tomada de decisões. Essa enorme quantidade de dados aliada à variabilidade intrínseca do problema (derivada de diferenças de terroir, variedades) representam sérios desafios para os modelos baseados em dados, transformando a seleção de uma abordagem adequada ao problema em uma tarefa mais complexa. Neste sentido, o objetivo geral desta dissertação foi delineado de maneira a dar um contributo importante para o desenvolvimento de viticultura de precisão de modo a impulsionar a aplicação de uma solução não invasiva e não destrutiva na monitorização da maturação das uvas. Assim, esta tese investigou a potencial aplicabilidade da imagiologia hiperespectral de proximidade em modo de reflectância, focando-se no desenvolvimento de modelos baseados em dados espectroscópicos para estimar o teor de açúcar, pH e a concentração de antocianinas. Mais especificamente, e de modo a tirar partido dos conjuntos de dados altamente complexos e informativos, foram desenvolvidos e comparados vários modelos de aprendizagem máquina, cujo desempenho foi aferido por meio de validação cruzada e conjuntos independentes de teste xx para avaliação da capacidade de generalização, usando amostras de diferentes anos, variedades e condições de crescimento não utilizadas no processo de treino. Outro tópico discutido nesta tese refere-se ao desenvolvimento de modelos mais complexos, nomeadamente algoritmos de aprendizagem profunda, de modo a avaliar a sua capacidade de generalização para novas amostras, comparando o seu desempenho com o dos métodos de aprendizagem de máquinas, e também para investigar a necessidade de usar mais dados de treino para desenvolver adequadamente estes modelos mais complexos. Para tal, foram propostas duas arquiteturas de redes neurais convolucionais unidimensionais com níveis de complexidade diferente, e implementado um mecanismo de transferência de aprendizagem com base na arquitetura mais complexa para avaliar possíveis melhorias na generalização dos modelos. Foi ainda investigado o efeito de diferentes técnicas de pré-processamento espectral quer nos modelos de aprendizagem máquina quer de aprendizagem profunda. No geral, os resultados obtidos mostraram que as grandes diferenças de terroir, entre variedades e entre anos têm um grande impacto na maturação das uvas e, consequentemente, na robustez dos modelos preditivos desenvolvidos. Além disso, os resultados obtidos para a generalização revelaram um bom desempenho geral dos modelos para condições de laboratório, com os modelos de aprendizagem profunda a superarem os de aprendizagem máquina, demonstrando a eficácia e robustez da metodologia particularmente para capacidade de generalização do modelo com diferentes variedades e diferentes colheitas. Por último, foi também abordada a avaliação de regiões espectrais importantes correspondentes aos parâmetros enológicos em análise. Os resultados obtidos forneceram bons indicadores, abrindo caminho para a redução do custo do equipamento e dimensionalidade dos dados sem perder poder preditivo. Como observação final, os resultados desta tese permitiram avanços no conhecimento da aplicabilidade da imagiologia espectral combinada com métodos de previsão apropriados, e em como os modelos são influenciados pela variabilidade natural das amostras, representando um passo importante para uma avaliação mais sustentável da qualidade das uvas.
Descrição
This work was produced as original thesis for the degree of Doctor in
AgriChains - From Folk to Farm at the University of Trás-os-Montes
and Alto Douro
Palavras-chave
Wine quality , Grape ripeness assessment