Quais habilidades serão desenvolvidas no curso?

O Curso de Extensão em Processamento de Linguagem Natural tem como objetivo capacitar profissionais para o mercado de trabalho atual, explorando desde técnicas clássicas, até modelos atencionais e transformers, explorando diversas aplicações práticas.

INF-1000

Curso de Extensão

E-mail: nlp@ic.unicamp.br

Telefone: (19) 3521-5883 / 3521-5861

Realização:

Sobre o curso

Formato

O Curso de Extensão em Processamento de Linguagem Natural é composto por 4 módulos que cobrem os principais conceitos da área, perfazendo uma carga horária total de 40 horas, sendo 32 horas de aulas e 8 horas de atividades supervisionadas.

Certificado

Os alunos aprovados terão direito ao certificado de conclusão do Curso de Extensão em Processamento de Linguagem Natural, emitido pela Escola de Extensão da Unicamp.

Professores

O corpo de docentes do Curso de Extensão em Processamento de Linguagem Natural é composto por professores e pesquisadores da Unicamp, com grande experiência na área, todos com doutorado.



  • Módulos

    • INTRODUÇÃO AO PROCESSAMENTO DE LINGUAGEM NATURAL
    Fundamentos: breve histórico, definições, tipos de abordagens, representações textuais, tipos de análise padrões textuais. Pré-processamento de texto: padronização, tokenização, normalização, filtragem, relevância de palavras, etiquetagem morfológica. Mapeamento de texto: extração de características, sacola de palavras, vetorização, frequência de termo, frequência inversa de documento. Modelos de linguagem: probabilístico, Markov, unigramas, bigramas, n-gramas, avaliação.

    MODELOS ATENCIONAIS
    Introdução à atenção e mecanismos atencionais: hard, soft e self-attention. Arquiteturas clássicas de aprendizado profundo baseadas na atenção: CNNs, recorrentes e generativas. Modelos atencionais end-to-end: NT, GAT. Aplicações e benefícios de modelos baseados em atenção.

    TRANSFORMERS
    Motivação e visão geral da arquitetura. Encoder (positional encoders, multi-head attention, feed-forward layer). Decoder (masked multi-head attention, linear layer e softmax). Variações da Transformer (BERT, T5, GPT3, Efficient Transformer, etc.).

    APLICAÇÕES
    Transformers mono/multilingue para PLN (Geração de texto, tradução). Transformers em Imagens (classificação de imagens). Transformers em outras mídias (áudio, sensores, etc.). Desafios e oportunidades (explicabilidade, tamanho dos modelos, treinar x refinar).



  • Informações

    • Pré-requisito: Conhecimento básico de programação.
    Público-alvo: Profissionais de Informática, formados em Computação ou áreas afins (Engenharias ou Exatas).
    Tipo de curso: Curso de Extensão.
    Material necessário: Por ser um curso com enfoque prático, todos alunos devem usar seus notebooks nas aulas.
    Coordenador do curso: Prof. Dr. Zanoni Dias.
    Oferecimento: Exclusivamente no modelo "in company" (fechado para empresas). Solicite um orçamento por email.