13 jul 2022
09:00 Defesa de Doutorado Auditório do IC3
Tema
Adaptação de Domínio em Modelos de Segmentação Semântica para Aplicação em Agricultura de Precisão / Domain Adaptation in Semantic Segmentation Models for Application in Precision Agriculture
Aluno
Gustavo José Querino de Vasconcelos
Orientador / Docente
Orientador: Hélio Pedrini / Coorientador: Thiago Vallin Spina
Breve resumo
Tecnologias mais sustentáveis na agricultura são importantes não apenas para aumentar o rendimento das culturas, mas também para reduzir o uso de agroquímicos e melhorar a eficiência energética. Avanços recentes, como as aplicações localizadas de herbicidas, contam com sistemas que diferenciam de forma confiável entre culturas, ervas daninhas e solo. No entanto, devido às muitas variações de cenários que podem ocorrer em campos agrícolas, como diferentes tipos de iluminação, tipos de solo, tipos de espécies e diferentes estágio de crescimento das plantas, a mudança de domínio (do inglês, domain shift) é uma problema relevante nessa área. A mudança de domínio é um problema comum no campo da visão computacional, que ocorre quando diferentes distribuições de probabilidade entre os conjuntos de treinamento e teste levam à degradação do desempenho do sistema em teste. Nesta tese, abordamos o problema de adaptação de domínios para segmentação semântica de imagens no contexto da agricultura. A adaptação de domínio visa reduzir o problema de mudança de domínio ajustando o modelo para obter uma melhor eficácia mesmo em um cenário diferente daquele encontrado nos dados de treinamento. Resultados promissores em adaptação de domínio foram obtidos anteriormente em trabalhos que utilizam a técnica de mapeamento de domínio, como a arquitetura CycleGAN. No entanto, este tipo de mapeamento não garante a fidelidade semântica das imagens em ambos os domínios, o que pode causar confusão ao treinar o modelo de segmentação semântica. Um outro problema desse tipo de técnica é a necessidade de se utilizar um grande conjunto de imagens para ter um resultado satisfatório. Dois métodos são propostos nesta tese, LCDA e FoReMix, que utilizam várias estratégias para obter resultados estado da arte para adaptação de domínios em segmentação de imagens de culturas e ervas daninhas. Ambas as técnicas objetivam oferecer um mapeamento de domínio mais robusto semanticamente e menos custoso do que os mapeamentos tradicionais, usando como base a troca de componentes de baixa frequência no espaço de Fourier entre os domínios de origem e destino. Duas outras contribuições da tese são do o projeto e a construção de um robô autônomo de baixo custo (DARob) que tem como objetivo facilitar a captura de imagens em campos agrícolas, e um novo conjunto de dados para segmentação de plantas e ervas daninhas na cultura de feijão.
More sustainable technologies in agriculture are important not only for increasing crop yields, but also for reducing agrochemical use and improving energy efficiency. Recent advances such as spot herbicide applications depend on systems that reliably differentiate between crops, weeds and soil. However, due to the many variations of scenarios that can occur in agricultural fields, such as different types of lighting, types of soil, types of species and different stages of plant growth, domain shift is a relevant problem in this area. Domain shift is a common problem in the field of computer vision, which occurs when different probability distributions between training and test sets lead to performance degradation of the system under test. In this thesis, we address the problem of adapting domains for semantic image segmentation in the context of agriculture. Domain adaptation aims to reduce the problem of domain shift by adapting the model to obtain better effectiveness even in a different scenario than that found in the training data. Promising results in domain adaptation were previously obtained in works that use the domain mapping technique, such as the CycleGAN architecture. However, this type of mapping does not guarantee the semantic fidelity of the images in both domains, which can cause confusion when training the semantic segmentation model. Another problem with this type of technique is the need to use a large set of images to obtain a satisfactory result. Two methods are proposed in this thesis, LCDA and FoReMix, which use various strategies to obtain state-of-the-art results for domain adaptation in crop and weed image segmentation. Both techniques are based on the exchange of low frequency components in the Fourier space between source and target domains and aims to provide a more semantically robust and less computationally expensive domain mapping than traditional approaches. Two other contributions of the thesis are the design and construction of a low-cost autonomous robot (DARob) that aims to facilitate the capture of images in agricultural fields, and a new dataset for segmentation of plants and weeds in the crop of bean.
Banca examinadora
Titulares:
| Hélio Pedrini | IC/UNICAMP |
| Guilherme Martineli Sanches | CROPMAN |
| Jayme Garcia Arnal Barbedo | EMBRAPA |
| Juliana Aparecida Fracarolli | FEAGRI/UNICAMP |
| Marcelo da Silva Reis | IC/UNICAMP |
Suplentes:
| André Santanché | IC/UNICAMP |
| Esther Luna Colombini | IC/UNICAMP |
| David Menotti Gomes | INF/UFPR |