2o Exercício de casa

Pode ser feito individualmente ou em duplas.

data para entrega: até meia note de 10/4 (sexta feira)

Nós vamos minimizar a função de 3 dimensões:

\[f(x_1,x_2,x_3) = 100 (x_2 -x_1^2)^2 + (1-x_1)^2 + 100 (x_3 - x_2^2)^2 + (1 - x_2)^2\]

que é a função de Rosenbrock em 3D.

valor inicial: Assuma que o valor inicial da descida do gradiente é [0,0,0]

teste de convergência: vamos definir tolerancia como

\[tol = \frac{| x_{novo}-x_{velho} | }{ |x_{velho}| }\]

onde \(|x|\) é a norma (euclidiana) de um vetor.

Pare quando a tolerância for menor que \(1.0x10^{-4}\).

numero máximo de passos: interrompa a computação depois de 20.000 passos.

1 implementação de descida do gradiente com gradiente explicito (70% da nota)

• implemente a função que computa o gradiente de \(f\)

• use o teste de convergência e o valor inicial acima

• para cada um dos valores do learning rate abaixo plote os valores de \(f(x)\) dos passos da descida do gradiente, e o número de vezes da atualização \(x\)

  • l.r = 1.e-4
  • l.r = 1.e-3
  • mostre o que acontece quando o learning rate é muito grande e a descida do gradiente nao converge (na minha implementação um l.r de 1.6e-3 já da erro)

2 usando do tensorflow para calcular o gradiente (30% da nota)

• use o tensorflow para computar automaticamente o gradiente em vez de usar a sua função. Repita as 2 saídas com os 2 learning rates