18 ago 2022
09:00 Defesa de Mestrado Auditório - IC 3
Tema
Classificação de Dados Sintéticos de Configurações de Mão de Línguas de Sinais Utilizando Aprendizado de Máquina Profundo
Aluno
Vicente Coelho Lobo Neto
Orientador / Docente
Hélio Pedrini
Breve resumo
A comunicação é um fator de grande importância na integração das pessoas a uma comunidade. Apesar de línguas orais serem diretamente associadas a isso, muitas pessoas se comunicam principalmente por meio de línguas de sinais. O fato de a quantidade de pessoas fluentes em línguas de sinais ser reduzida, isto dificulta as interações entre sinalizantes e ouvintes. Algumas ferramentas tecnológicas foram desenvolvidas para tentar ajudar, compreendendo geralmente a tradução de frases de uma língua oral para uma língua de sinais. Entretanto, ainda não há opções robustas no sentido contrário, traduzindo de línguas de sinais para línguas orais. Este trabalho é focado nesta lacuna, propondo uma nova abordagem de tradução automática de palavras isoladas de línguas de sinais através da aplicação de aprendizado de máquina a vídeos contendo a sinalização de uma palavra. A abordagem proposta combina técnicas de visão computacional e recuperação de informações e é dividida em etapas que fazem a decomposição dos parâmetros do sinal, que representam os fonemas, para posterior comparação dos resultados com um dicionário de escrita de sinais (SignWriting), o SignPuddle. Este dicionário é colaborativo e contempla uma grande quantidade de palavras de diversas línguas de sinais. Não foram implementadas todas as etapas que compõem a abordagem proposta, tendo sido o foco deste trabalho a realização de provas de conceito da primeira etapa: a classificação de configuração de mão. Para isso, uma análise de ocorrência das configurações de mão foi realizada para posterior criação de um conjunto de dados sintéticos que contém as 50 configurações de mão mais comuns na Libras, a Língua Brasileira de Sinais. O conjunto foi construído utilizando uma ferramenta de animação tridimensional (Blender) e disponibiliza não apenas as imagens das configurações de mão, como também compreende anotações de classificação, detecção, pose e segmentação. Finalmente, foram empregadas técnicas de aprendizado de máquina para a estimação de pose humana e posterior classificação da configuração utilizando redes neurais convolucionais unidimensionais, tendo obtido resultados satisfatórios.
Banca examinadora
Titulares:
Hélio Pedrini IC/UNICAMP
Carlos Antônio Caetano Júnior Samsung
André Santanchè IC/UNICAMP
Suplentes:
Júlio Cesar dos Reis IC/UNICAMP
Ronaldo Cristiano Prati CMCC/UFABC