19 fev 2020
13:30 Defesa de Doutorado Auditório 1
Tema
Pattern Recognition in Facial Expressions: Algorithms and Applications Candidato(a)
Aluno
Jadisha Yarif Ramírez Cornejo
Orientador / Docente
Hélio Pedrini
Breve resumo
O reconhecimento de emoções tem-se tornado um tópico relevante de pesquisa pela comunidade científica, uma vez que desempenha um papel essencial na melhoria contínua dos sistemas de interação humano-computador. Além disso, ele pode ser aplicado em diversas áreas, tais como medicina, entretenimento, vigilância, biometria, educação, redes sociais e computação afetiva. As emoções podem ser expressas por meio de um ou mais estímulos. As formas mais comuns são expressões faciais e prosódia da fala. No entanto, para o desenvolvimento de sistemas emocionais baseados em expressões faciais, há alguns desafios em aberto, como a inclusão de dados que refletem emoções mais espontâneas e cenários reais, por exemplo, oclusões faciais e posições da cabeça. No caso específico de expressões faciais estáticas, elas não possuem informações temporais dinâmicas. Há também pesquisas sobre alternativas multimodais mais semelhantes à maneira como as interações humano-humano funcionam. Nesta tese de doutorado, propomos diferentes abordagens para o desenvolvimento de sistemas de reconhecimento de emoções baseado em expressões faciais, bem como sua aplicabilidade na resolução de outros problemas semelhantes. No Capítulo 1, propomos uma metodologia de reconhecimento de emoções para expressões faciais ocluídas, com base no Histograma da Transformada Census (CENTRIST). Expressões faciais ocluídas são reconstruídas usando a Análise Robusta de Componentes Principais. A extração de características das expressões faciais é realizada pelo CENTRIST, assim como pelos Padrões Binários Locais (LBP), pela Codificação Local do Gradiente (LGC) e por uma extensão do LGC. O espaço de características gerado é reduzido aplicando-se a Análise de Componentes Principais (PCA) e a Análise Discriminante Linear (LDA). Os algoritmos K-vizinho mais próximo (K-NN) e Máquinas de Vetores de Suporte (SVM) são usados para classificação. O método alcançou taxas de acerto competitivas para expressões faciais ocluídas e não ocluídas. No Capítulo 2, introduzimos um reconhecimento dinâmico de expressões faciais baseado em Ritmos Visuais (VR) e Imagens da História do Movimento (MHI), de modo que uma fusão de ambos descritores codifique informações de aparência, forma e movimento dos vídeos. Para extração das características, o Descritor Local de Weber (WLD), o CENTRIST, o Histograma de Gradientes Orientados (HOG) e a Matriz de Coocorrência em Nível de Cinza (GLCM) são empregados. A abordagem apresenta uma nova proposta para o reconhecimento dinâmico de expressões faciais e uma análise da relevância das partes faciais. No Capítulo 3, um método eficaz é apresentado para o reconhecimento de emoções audiovisuais com base na fala e nas expressões faciais. A metodologia envolve uma rede neural híbrida para extrair características visuais e de áudio dos vídeos. Para extração de áudio, uma Rede Neural Convolucional (CNN) baseada no log-espectrograma de Mel é usada, enquanto uma CNN construída sobre a Transformada de Census é empregada para a extração das características visuais. Os atributos audiovisuais são reduzidos por PCA e LDA, então classificados por K-NN, SVM, Regressão Logística (LR) e Gaussian Na\"ive Bayes (GNB). A abordagem obteve taxas de reconhecimento competitivas, especialmente em dados espontâneos. No Capítulo 4, o problema de detectar a síndrome de Down a partir de fotografias é investigado. Um descritor geométrico estendido é proposto para extrair características faciais. Experimentos realizados em uma base de dados pública mostram a eficácia da metodologia desenvolvida. No Capítulo 5, uma metodologia para o reconhecimento de síndromes genéticas em fotografias é apresentada. O método visa extrair atributos faciais usando características de uma rede neural profunda e medidas antropométricas. Experimentos são realizados em uma base de dados pública, alcançando taxas de reconhecimento competitivas.
Banca examinadora
Titulares:
| Hélio Pedrini | IC/UNICAMP |
| Sarajane Marques Peres | EACH/USP |
| Edimilson Batista dos Santos | DCC/UFSJ |
| Fabricio Aparecido Breve | DEMAC/UNESP |
| Marco Antonio Garcia de Carvalho | FT/UNICAMP |
Suplentes:
| André Santanchè | IC/UNICAMP |
| Alexandre Mello Ferreira | IC/UNICAMP |
| Moacir Antonelli Ponti | ICMC/USP |