Deep learning techniques for grapevine variety classification using natural images

Resumo
This thesis proposes a computer vision system for automatic classification of six endogenous grapevine varieties of the Portuguese Douro Demarcated Region from natural images. For a full understanding about the applied methodologies and the developed experiments in this research work, we structured this document into six sections. The first ones are reserved for the revision of the literature about image processing in agriculture, such as, image processing techniques (enhancement and color model conversion) and image segmentation methods that inspired us to develop the proposed leaf segmentation algorithm. The theoretical background about the machine learning process, namely, deep learning and convolutional neural networks were presented for an easier understanding of the methodologies applied on our research proposal. The remaining ones are reserved for the presentation of the materials and methods, the major conclusions and possible future work developments. Our proposed system is hard to develop because it presents many constraints. First, the presence in natural vineyard images of savage foliage, weed, multiple leaves with overlapping, occlusion, and obstruction by objects due to the shadows, dust, insects and other adverse climatic conditions that occur in natural environment at the moment of image capturing; second, high similarity of the images among different grapevine varieties; third, leaf senescence and significant changes on the grapevine leaf and bunches images in the harvest seasons, namely, due to adverse climatic conditions, diseases and presence of pesticides; fourth, the low volume of images available. In addition, the vineyards of the Douro Region are also characterized for having more than one grapevine variety per parcel and even for row. Knowing the susceptibility of a particular variety to a specific disease, its identification using this automatic system, will help, for example, in a more specific and targeted treatment. Besides that, many wine producers are entitled to this large number of grapevine varieties to produce their most expensive wines. As the title of this thesis highlights, the deep learning techniques were used to solve the presented constratints. With this advanced neural technologies, the performance of transfer learning schemes based on AlexNet architecture was evaluated for classification of grapevine varieties using diverse pre-processed datasets. Thus, two natural vineyard image datasets were constructed from which different pre-processed datasets are generated with the application of some image processing methods, including a proposed four-corners-in-one image warping algorithm for deep training purposes. After detailing some network schemes, we present and discuss some of the experimental results obtained by the proposed approach, which we judge promising and encouraging to help Douro wine growers in the automatic grapevine varieties classification for future implementation of a robotic grape harvest.
Esta tese propõe um sistema de visão computacional para classificação automática de seis variedades de videira endógenas da Região Demarcada do Douro a partir de imagens naturais. Para um completo entendimento sobre as metodologias aplicadas e as experièncias desenvolvidas neste trabalho de investigação, estruturamos este documento em seis capítulos. Os primeiros são reservados à revisão da literatura sobre processamento de imagens na agricultura, como técnicas de processamento de imagens (realce da imagem e conversão de modelos de cores) e métodos de segmentação de imagens que nos inspiraram a desenvolver um algoritmo de segmentação de folhas. Os fundamentos teóricos sobre o processo de aprendizagem de máquina, a saber, aprendizagem profunda e redes neuronais convolucionais, são apresentados para facilitar a compreensão das metodologias aplicadas na nossa proposta de trabalho. Os demais capítulos ficam reservados para a apresentação dos materiais e métodos, as principais conclusões e possíveis desenvolvimentos futuros do trabalho. Torna-se difícil desenvolver o sistema que se propõe porque apresenta muitos constrangimentos. Primeiro, a presença em imagens naturais de vinhas de folhagem selvagem, erva daninha, várias folhas com sobreposição, oclusão e obstrução por objetos devido às sombras, poeira, insetos e outras condições climáticas adversas que ocorrem no ambiente natural no momento da captação de imagem; segundo, a alta similaridade das imagens entre diferentes variedades de videira; terceiro, senescência foliar e mudanças significativas nas imagens de folhas e cachos de videira nas safras, devido a condições climáticas adversas, doenças e presença de pesticidas; quarto, o baixo volume de imagens disponíveis. Além disso, as vinhas da região do Douro também se caracterizam por possuir mais de uma variedade de videira por parcela e até por bardo. Conhecendo a suscetibilidade de uma variedade específica a uma doença específica, usando este sistema automático, a sua identificação ajudará, por exemplo, num tratamento mais específico e direcionado. Além disso, muitos produtores de vinho têm utilizado um grande número de variedades de videira para produzir os seus vinhos de referência e, portanto, mais caros. Como o título desta tese destaca, as técnicas de aprendizagem profunda foram usadas para resolver os constrangimentos apresentados. Com estas tecnologias neuronais avançadas, o desempenho dos esquemas de aprendizagem de transferência baseados na arquitetura AlexNet foi avaliado na classificação de variedades de videira usando diversos conjuntos de dados pré-processados. Assim, foram construídos dois conjuntos de dados de imagem de vinhas naturais a partir dos quais foram gerados diferentes conjuntos de dados pré-processados com a aplicação de alguns métodos de processamento de imagem, incluindo um algoritmo de distorção de imagem chamado four-corners-in-one para fins de treino. Depois de detalharmos alguns esquemas de rede, apresentamos e discutimos alguns dos resultados experimentais obtidos pela abordagem proposta, que julgamos promissores e encorajadores para ajudar os viticultores do Douro na classificação automática das variedades de videira para futura implementação de um robot para colheita de uvas.
Descrição
Doctoral Thesis in Informatics
Palavras-chave
AlexNet deep model , transfer learning techniques
Citação