MO431 -Algebra linear e otimização para aprendizado de maquina\ Informações sobre a disciplina
Jacques Wainer
Datas
Curso começa em 3/3 e termina em 16/4
Aulas
Notas
As notas dos projetos de 1 a 3 estao aqui. Verifique que se voce enviou o projeto voce tem nota.
Minha solução para o projeto 3 em html e o jupyter notbook. Notem que grande parte de voces NAO fez o loop externo no decida do gradiente com line search (alguns fizeram - parabens) Eu não tirei ponto por isso mas notem a versão correta na minha solução.
Programa
- aulas 1 a 4 - algebra linear
- aulas 5 a 14 - otimização continua
Projetos de casa
projeto 1 a ser entregue dia 31/3 ate meia noite, via email.
projeto 2 a ser entregue ate 10/4 ate a meia noite
projeto 3 a ser entregue ate 30/4 ate a meia noite
projeto 4 VERSAO 2 a ser entregue ate 10/5 ate a meia noite
Avaliação
Média de (provavelmente) 4 exercícios a serem feitos em casa
Plano de Aulas
- Aula 1 - Vetores
- Aula 2 - Matrizes quadradas como transformações lineares
- Aula 3 - Fatoração de matrizes quadradas, especialmente autovetores e autovalores
- Aula 4 - Matrizes não quadradas, SVD e questões computacionais em algebra linear
- Aula 5 - otimização continua: otimização linear, otimização convexa, otimização não convexa
- Aula 6 - Solução analitica para problemas convexos/ Introdução a decida do gradiente
- Aula 7 - variações da decida do gradiente que são relevantes para deep learning. Veja detalhes em https://ruder.io/optimizing-gradient-descent/
- Batch, SGD e Mini batch
- momento, Nesterov. Adagrad, Adadelta, RMSProp, Adam
- Aula 8 - Tensorflow
- Aula 9 - Metodos quadráticos (quasi-Newton)
- Aula 10 - Metodos sem gradiente
- Aula 11 - Otimização não convexa: algoritmos de força bruta
- Aula 12 - Descida do gradiente + variações + reinicio
- Aula 13 - Algoritmos genéticos
- Aula 14 - Otimização Bayesiana
Links