Aula 8: Otimização Irrestrita e Descida do Gradiente

Otimização e Álgebra Linear para Machine Learning

Marcos M. Raimundo — Instituto de Computação, UNICAMP

2026-10-14

Revisão e Introdução

Da Aula 7: O Que Já Temos

• Convexidade Global: \(\nabla^2 f(\mathbf{x}) \succeq 0 \implies\) a função curva para cima em todas as direções.
• Condição de 1ª Ordem: \(f(\mathbf{y}) \ge f(\mathbf{x}) + \nabla f(\mathbf{x})^T(\mathbf{y} - \mathbf{x})\).
• O Teorema Central: \(\nabla f(\mathbf{x}^\star) = \mathbf{0} \implies \mathbf{x}^\star\) é um mínimo global.

• Regressão Linear (OLS): \(\nabla^2 L = 2X^T X \succ 0\) (posto completo) \(\implies\) solução única: \[\hat{\boldsymbol{\beta}} = (X^T X)^{-1} X^T \mathbf{y}\]

O Que Ficou em Aberto

E se \(X\) tiver centenas de milhares de atributos, tornando \((X^T X)^{-1}\) proibitivo (\(O(d^3)\))? E se a perda for não linear, como na regressão logística, onde \(\nabla f = \mathbf{0}\) não tem fórmula algébrica fechada?

O Dilema Numérico no California Housing (Parte 1)

O Experimento Empírico (\(N = 20.640, d = 4\))

Partindo de \(\boldsymbol{\beta}_0 = \mathbf{0}\), tentamos minimizar \(L(\boldsymbol{\beta}) = \frac{1}{2N}\|X\boldsymbol{\beta} - \mathbf{y}\|_2^2\) via gradiente: \[\boldsymbol{\beta}_{k+1} = \boldsymbol{\beta}_k - \alpha \nabla L(\boldsymbol{\beta}_k)\]

• Passo Agressivo (\(\alpha = 2{,}8 \cdot 10^{-3}\)): Divergência Exponencial! Ultrapassa \(\alpha_{\text{crit}} = \frac{2}{\lambda_{\max}} \approx 2{,}35 \cdot 10^{-3}\), oscilando transversalmente e explodindo para o infinito.
• Passo Conservador (\(\alpha = 1{,}5 \cdot 10^{-3}\)): Paralisia no Piso do Cânion! A perda congela em \(\approx 3{,}75\), enquanto o mínimo analítico real é \(L^\star \approx 0{,}263\).

O Dilema Numérico no California Housing (Parte 2)

Os Dois Fenômenos Isolados em 4 Painéis

• Passos nas Curvas de Nível: Flechas e numeração (\(k=0, 1, 2, \dots\)) evidenciam a evolução de cada passo individual.
• Ponto 0 (\(\boldsymbol{\beta}_0 = \mathbf{0}\)): Marcado bem menor na origem como âncora discreta, ressaltando o contraste com a explosão dos valores.
• Passo Conservador (\(\alpha = 1{,}5 \cdot 10^{-3}\)): Passos murcham quase de imediato; perda estagna em \(\approx 3{,}75\).
• Passo Agressivo (\(\alpha = 2{,}8 \cdot 10^{-3}\)): Oscilação transversal violenta que se multiplica a cada iteração.

O Dilema Numérico no California Housing (Parte 3)

O Espectro da Hessiana no Dataset

\(\nabla^2 L = \frac{1}{N}X^T X \implies \lambda_{\max} \approx 849{,}37, \quad \lambda_{\min} \approx 0{,}0362, \quad \boldsymbol{\kappa \approx 23.460{,}5}\)

• Causa Física: Choque de escalas entre atributos (HouseAge tem média \(28{,}6\) e variância desproporcional a AveBedrms e MedInc).
• O Teto da Estabilidade: \[\alpha_{\text{crit}} = \frac{2}{\lambda_{\max}} \approx \mathbf{2{,}35 \cdot 10^{-3}}\] Passo \(\alpha = 2{,}8 \cdot 10^{-3} > 2/\lambda_{\max} \implies |1 - \alpha \lambda_{\max}| \approx 1{,}38 > 1 \implies\) Divergência exponencial.

A Prisão no Eixo Lento

Passo \(\alpha = 1{,}5 \cdot 10^{-3} \implies\) contração no eixo \(\lambda_{\min}\) de míseros \(1 - \alpha \lambda_{\min} \approx \mathbf{0{,}999946}\) (\(0{,}005\%\) ao passo!). O eixo íngreme estrangula o passo; o eixo plano paralisa o progresso.

Ideia Central: Da Álgebra Estática à Dinâmica Iterativa

O Algoritmo da Descida do Gradiente (Boyd §9.3; MathML §7.1)

Partindo de \(\mathbf{w}_0 \in \mathbb{R}^d\), atualizar iterativamente contra o gradiente: \[\mathbf{w}_{k+1} = \mathbf{w}_k - \alpha \nabla f(\mathbf{w}_k)\]

• Por Que Funciona? \(-\nabla f(\mathbf{w})\) é formalmente a direção de maior taxa de decaimento na norma euclidiana (demonstração via Cauchy-Schwarz).
• O Dilema de Primeira Ordem: O gradiente é puramente local. Se dermos um passo muito longo, a aproximação linear se quebra e a função explode.

As Três Metas Matemáticas de Hoje

1. Provar rigorosamente o limite de estabilidade: \(\alpha < \frac{2}{L}\).
2. Deduzir a taxa ótima de contração em quadráticas: \(\rho^\star = \frac{\kappa - 1}{\kappa + 1}\).
3. Curar o California Housing via pré-condicionamento algébrico.

Roteiro da Aula

1. Intuição Geométrica: O cálculo real do gradiente em bacias com diferentes \(\kappa\) (\(1, 5, 20\)).
2. Bloco 1 — Suavidade e Lema da Descida: \(L\)-suavidade, majorante quadrático, demonstração do limite \(\alpha < 2/L\) e os 5 regimes em quadráticas.
3. Bloco 2 — Análise Espectral em Quadráticas: Desacoplamento modal do erro e taxa ótima de Chebyshev \(\rho^\star = \frac{\kappa - 1}{\kappa + 1}\).
4. Bloco 3 — O Caso Real do California Housing: Diagnóstico do ziguezague e a aceleração de \(1.800\times\) via padronização.
5. Bloco 4 — Regressão Logística: Perda transcendental, cálculo do gradiente e otimização convexa sem solução fechada.

Pausa Ativa 1: Soluções Analíticas vs. Iterativas

O Preço da Inversão

Se as equações normais fornecem a solução exata \(\hat{\boldsymbol{\beta}} = (X^T X)^{-1} X^T \mathbf{y}\) em um único cálculo matricial, por que o treinamento de modelos modernos de Machine Learning com terabytes de dados recorre quase que exclusivamente a métodos iterativos de primeira ordem?

V ou F: Soluções Analíticas e Primeira Ordem

Julgue V ou F — a questão só conta se acertar os 4 itens:

• □ Resolver as equações normais via fatoração de Cholesky custa \(O(d^3)\) operações aritméticas, onde \(d\) é o número de atributos.
• □ A Descida do Gradiente exige a computação e armazenamento explícito da matriz Hessiana a cada passo.
• □ Em qualquer função de perda com mínimo único, dar um passo de qualquer tamanho finito na direção \(-\nabla f\) garante a diminuição da perda.
• □ Na regressão logística com perda de entropia cruzada, a condição de gradiente nulo \(\nabla \mathcal{L}(\mathbf{w}) = \mathbf{0}\) não possui solução algébrica fechada para isolar \(\mathbf{w}\).

Pausa Ativa 1: Resposta

V ou F: Resposta

• ✔ V: A fatoração de Cholesky exige \(\frac{1}{3}d^3\) operações, tornando-se proibitiva para \(d\) grande.
• ✗ F: A Descida do Gradiente é de 1ª ordem: utiliza apenas o vetor gradiente, sem calcular a Hessiana.
• ✗ F: Passos grandes causam overshooting e divergência exponencial para o infinito.
• ✔ V: A não linearidade da função sigmoide impede isolar \(\mathbf{w}\) por matrizes lineares.

Voltando à pergunta: O cálculo analítico direto exige armazenar e inverter matrizes \(d \times d\) com custo \(O(d^3)\) e memória \(O(d^2)\). Para \(d = 100.000\), isso exigiria petabytes de memória. Além disso, a imensa maioria dos modelos de ML (redes neurais, classificação logística) possui perdas transcendentais sem solução fechada. O gradiente custa apenas \(O(N d)\) e viabiliza a otimização contínua.

Intuição — A Descida na Neblina e a Geometria das Bacias

A Geometria da Descida na Neblina

O Alpinista Cego

Sem visão global da paisagem, a única informação disponível é a declividade local sob os pés: \[\mathbf{d} = -\nabla f(\mathbf{x}) \quad \perp \quad \text{Curvas de Nível}\]

• O Fato da Aula 6: O gradiente é ortogonal às curvas de nível.
• A Grande Armadilha: A direção ortogonal à curva de nível não aponta necessariamente para o centro da bacia!

O Papel do Número de Condição \(\kappa\)

A depender de \(\kappa = \lambda_{\max}/\lambda_{\min}\), o gradiente pode apontar perfeitamente para o alvo (\(\kappa = 1\)) ou apontar em um ângulo de quase \(90^\circ\) de desvio (\(\kappa \gg 1\)).

Bacia Isotrópica (\(\kappa = 1\)): Sem Desvio

Nota

Curvatura perfeitamente uniforme (\(\lambda_1 = \lambda_2 = 1\)). No ponto \(\mathbf{x}_0 = (2, 1)\), \(-\nabla f = [-2, -1]^T\) aponta em linha reta para a solução (\(\theta = 0^\circ\)). Com \(\alpha = 1\), atingimos \(\mathbf{x}^\star\) em 1 único passo.

Bacia Deformada (\(\kappa = 10\)): O Desvio Angular

Nota

Curvaturas desbalanceadas (\(\lambda_1 = 1, \lambda_2 = 10\)). No ponto \(\mathbf{x}_0 = (2, 1)\), \(-\nabla f = [-2, -10]^T\). O gradiente sofre um desvio de \(\theta \approx 52{,}1^\circ\), apontando contra a parede da encosta íngreme em vez do centro.

Bacia Alongada (\(\kappa = 20\)): A Fenda Crítica

Nota

Curvatura severa (\(\lambda_1 = 1, \lambda_2 = 20\)). No ponto \(\mathbf{x}_0 = (2, 1)\), \(-\nabla f = [-2, -20]^T\). O desvio angular atinge \(\theta \approx 57{,}7^\circ\). A componente transversal domina amplamente, jogando o ponto direto na parede oposta.

O Cânion Estreito: O Ziguezague Transversal

Nota

A patologia da fenda alongada. O gradiente perpendicular às elipses força o passo a saltar de uma parede para a outra. O algoritmo gasta \(99\%\) da sua magnitude oscilando no ziguezague transversal, enquanto avança a passos microscópicos no fundo do cânion.

Bloco 1: O Algoritmo de Descida do Gradiente e o Tamanho de Passo

A Maior Descida Euclidiana (Boyd §9.3)

O Problema de Direção Ótima

Buscamos a direção unitária \(\mathbf{u} \in \mathbb{R}^d\) (\(\|\mathbf{u}\|_2 = 1\)) que maximiza a taxa instantânea de descida: \[\min_{\|\mathbf{u}\|_2 = 1} \nabla f(\mathbf{w})^T \mathbf{u}\]

• Demonstração via Cauchy-Schwarz: \[|\nabla f(\mathbf{w})^T \mathbf{u}| \le \|\nabla f(\mathbf{w})\|_2 \|\mathbf{u}\|_2 = \|\nabla f(\mathbf{w})\|_2\implies -\|\nabla f(\mathbf{w})\|_2 \le \nabla f(\mathbf{w})^T \mathbf{u} \le \|\nabla f(\mathbf{w})\|_2\]

A Direção de Maior Descida (Steepest Descent)

A cota inferior mínima \(-\|\nabla f(\mathbf{w})\|_2\) é atingida exclusivamente quando: \[\mathbf{u}^\star = -\frac{\nabla f(\mathbf{w})}{\|\nabla f(\mathbf{w})\|_2} \implies \mathbf{w}_{k+1} = \mathbf{w}_k - \alpha \nabla f(\mathbf{w}_k)\]

O Que é Suavidade Lipschitz (\(L\)-Suavidade)

Definição Formal de \(L\)-Suavidade

O gradiente varia suavemente sem saltos abruptos se existe \(L > 0\) tal que: \[\|\nabla f(\mathbf{x}) - \nabla f(\mathbf{y})\|_2 \le L \|\mathbf{x} - \mathbf{y}\|_2, \quad \forall \mathbf{x}, \mathbf{y} \in \mathbb{R}^d\]

• Conexão com a Hessiana da Aula 7: Para funções \(C^2\), a constante \(L\) é o supremo da norma espectral da Hessiana: \[\nabla^2 f(\mathbf{x}) \preceq L I \iff \lambda_{\max}(\nabla^2 f(\mathbf{x})) \le L, \quad \forall \mathbf{x}\]

A Intuição da Curvatura Limitada

Uma função \(L\)-suave pode ser infinitamente complexa, mas a curvatura de subida em qualquer direção e em qualquer ponto é sempre estritamente controlada pelo teto \(L\).

O Limitante Superior Quadrático (Majorante)

Teorema do Majorante Quadrático (Boyd §9.3.1; Nesterov, 2018)

Para qualquer função com gradiente \(L\)-Lipschitziano e quaisquer \(\mathbf{x}, \mathbf{y} \in \mathbb{R}^d\): \[f(\mathbf{y}) \le f(\mathbf{x}) + \nabla f(\mathbf{x})^T(\mathbf{y} - \mathbf{x}) + \frac{L}{2}\|\mathbf{y} - \mathbf{x}\|_2^2\]

• Estratégia de Demonstração: É necessário integrar a taxa de variação direcional ao longo do segmento \(\mathbf{x} \to \mathbf{y}\) recorrendo ao Teorema Fundamental do Cálculo e à condição de \(L\)-suavidade (demonstração a seguir).
• A Dualidade com a Convexidade:
  • Convexidade (\(\nabla^2 f \succeq 0\)) \(\implies\) piso linear global por baixo (\(f(\mathbf{y}) \ge f(\mathbf{x}) + \nabla f(\mathbf{x})^T(\mathbf{y}-\mathbf{x})\)).
  • \(L\)-suavidade (\(\nabla^2 f \preceq L I\)) \(\implies\) teto parabólico global por cima!

O Teto Universal de Segurança

A parábola \(Q(\mathbf{y}) = f(\mathbf{x}) + \nabla f(\mathbf{x})^T(\mathbf{y}-\mathbf{x}) + \frac{L}{2}\|\mathbf{y}-\mathbf{x}\|^2\) é um teto rígido: a função real \(f(\mathbf{y})\) nunca consegue ultrapassá-la!

Demonstração do Majorante Quadrático

Passo 1: Parametrização e Teorema Fundamental do Cálculo

Para o segmento \(\mathbf{r}(t) = \mathbf{x} + t(\mathbf{y}-\mathbf{x})\), com \(t \in [0, 1]\), definimos \(g(t) = f(\mathbf{r}(t))\): \[f(\mathbf{y}) - f(\mathbf{x}) = g(1) - g(0) = \int_0^1 g'(t)\, dt = \int_0^1 \nabla f(\mathbf{x} + t(\mathbf{y}-\mathbf{x}))^T (\mathbf{y} - \mathbf{x})\, dt\]

• Passo 2: Centrar no Gradiente Local \(\nabla f(\mathbf{x})\): Somando e subtraindo \(\nabla f(\mathbf{x})^T (\mathbf{y}-\mathbf{x})\) dentro da integral: \[f(\mathbf{y}) - f(\mathbf{x}) = \nabla f(\mathbf{x})^T(\mathbf{y}-\mathbf{x}) + \int_0^1 \left[ \nabla f(\mathbf{x} + t(\mathbf{y}-\mathbf{x})) - \nabla f(\mathbf{x}) \right]^T (\mathbf{y} - \mathbf{x})\, dt\]

Passo 3: Limitação via Cauchy-Schwarz e \(L\)-Suavidade

Como \(\|\nabla f(\mathbf{x} + t(\mathbf{y}-\mathbf{x})) - \nabla f(\mathbf{x})\|_2 \le t L \|\mathbf{y}-\mathbf{x}\|_2\), o termo residual satisfaz: \[\left| \int_0^1 [\dots]^T (\mathbf{y}-\mathbf{x})\, dt \right| \le L \|\mathbf{y}-\mathbf{x}\|_2^2 \int_0^1 t\, dt = \mathbf{\frac{L}{2}\|\mathbf{y} - \mathbf{x}\|_2^2} \quad \blacksquare\]

O Lema da Descida: Garantia Estrita e o Teto \(\alpha < 2/L\)

Dedução do Lema da Descida

Substituindo \(\mathbf{w}_{k+1} = \mathbf{w}_k - \alpha \nabla f(\mathbf{w}_k)\) no Majorante Quadrático: \[f(\mathbf{w}_{k+1}) \le f(\mathbf{w}_k) - \alpha \|\nabla f(\mathbf{w}_k)\|^2 + \frac{\alpha^2 L}{2}\|\nabla f(\mathbf{w}_k)\|^2 \le f(\mathbf{w}_k) - \mathbf{\alpha \left(1 - \frac{\alpha L}{2}\right) \|\nabla f(\mathbf{w}_k)\|_2^2}\]

• Condição Necessária e Suficiente para Descida: \[1 - \frac{\alpha L}{2} > 0 \implies \mathbf{0 < \alpha < \frac{2}{L}}\]

O Passo Teórico Ótimo \(\alpha = 1/L\)

Maximizando a parábola \(\alpha(1 - \alpha L / 2)\): o pico ocorre em \(\alpha^\star = \frac{1}{L}\), garantindo: \[f(\mathbf{w}_{k+1}) \le f(\mathbf{w}_k) - \mathbf{\frac{1}{2L} \|\nabla f(\mathbf{w}_k)\|_2^2}\]

Os Cinco Regimes de Passo em Quadráticas

Dinâmica Exata em \(f(w) = \frac{L}{2}w^2\)

\[w_{k+1} = (1 - \alpha L) w_k \implies w_k = (1 - \alpha L)^k w_0\]

• 1. \(0 < \alpha < \frac{1}{L}\): \(0 < 1 - \alpha L < 1 \implies\) Decaimento monotônico lento (sem oscilação).
• 2. \(\alpha = \frac{1}{L}\): \(1 - \alpha L = 0 \implies\) Convergência perfeita em 1 passo!
• 3. \(\frac{1}{L} < \alpha < \frac{2}{L}\): \(-1 < 1 - \alpha L < 0 \implies\) Oscilação amortecida (ziguezague).

O Limite e a Quebra da Otimização

• 4. \(\alpha = \frac{2}{L}\): \(1 - \alpha L = -1 \implies\) Ciclo perpétuo entre \(+w_0\) e \(-w_0\) (perda não diminui).
• 5. \(\alpha > \frac{2}{L}\): \(|1 - \alpha L| > 1 \implies\) Explosão exponencial para o infinito!

Pausa Ativa 2: Suavidade de Lipschitz e o Limite do Passo

A Dinâmica na Parábola Unidimensional

Considere a função quadrática \(f(x) = \frac{1}{2} L x^2\) em \(\mathbb{R}\) (\(L > 0\)). Se aplicarmos a Descida do Gradiente \(x_{k+1} = x_k - \alpha f'(x_k)\) partindo de \(x_0 = 1\), deduza \(x_k\) em função de \(k\). O que ocorre se fixarmos \(\alpha = \frac{1}{L}\), \(\alpha = \frac{2}{L}\) e \(\alpha = \frac{2{,}1}{L}\)?

V ou F: Lipschitz e Hiperparâmetros

Julgue V ou F — a questão só conta se acertar os 4 itens:

• □ Para uma função duas vezes diferenciável, a constante de Lipschitz do gradiente é igual ao supremo do maior autovalor da Hessiana: \(L = \sup_{\mathbf{x}} \lambda_{\max}(\nabla^2 f(\mathbf{x}))\).
• □ Pelo Lema de Descida, fixar \(\alpha = \frac{1}{L}\) garante que \(f(\mathbf{x}_{k+1}) \le f(\mathbf{x}_k) - \frac{1}{2L} \|\nabla f(\mathbf{x}_k)\|^2\).
• □ Escolher \(\alpha = \frac{1{,}99}{L}\) em uma função convexa suave causa divergência numérica exponencial para o infinito.
• □ Na perda dos mínimos quadrados \(f(\boldsymbol{\beta}) = \|X\boldsymbol{\beta} - \mathbf{y}\|^2\), a constante de Lipschitz é dada por \(L = 2 \lambda_{\max}(X^T X)\).

Pausa Ativa 2: Resposta

V ou F: Resposta

• ✔ V: A norma matricial da Hessiana \(\|\nabla^2 f\|_2\) coincide com o maior autovalor em matrizes simétricas PSD.
• ✔ V: Substituindo \(\alpha = 1/L\) na cota deduzida no Teorema 3.
• ✗ F: Como \(\alpha = 1{,}99/L < 2/L\), o passo permanece dentro da faixa de estabilidade assintótica.
• ✔ V: \(\nabla^2 f = 2X^T X\), de onde \(L = 2 \lambda_{\max}(X^T X)\).

Voltando à pergunta: A iteração é \(x_k = (1 - \alpha L)^k x_0\). Para \(\alpha = 1/L\), \(1 - \alpha L = 0\) e atingimos o mínimo em um único passo. Para \(\alpha = 2/L\), \(1 - \alpha L = -1\) e oscilamos entre \(+1\) e \(-1\) sem convergir. Para \(\alpha = 2{,}1/L\), \(|1 - \alpha L| = 1{,}1 > 1\), e \(|x_k| \to \infty\) diverge exponencialmente.

Bloco 2: A Dinâmica Espectral do Erro e o Teorema de Chebyshev

De Onde Vem a Dinâmica do Erro?

O Gradiente Centralizado no Ótimo

Para \(f(\mathbf{w}) = \frac{1}{2}\mathbf{w}^T A \mathbf{w} - \mathbf{b}^T \mathbf{w}\) (\(A \succ 0\)), o mínimo \(\mathbf{w}^\star\) satisfaz \(\nabla f(\mathbf{w}^\star) = \mathbf{0} \implies \mathbf{b} = A\mathbf{w}^\star\). Substituindo \(\mathbf{b}\) no gradiente em qualquer ponto \(\mathbf{w}_k\): \[\nabla f(\mathbf{w}_k) = A\mathbf{w}_k - \mathbf{b} = A\mathbf{w}_k - A\mathbf{w}^\star = \mathbf{A(\mathbf{w}_k - \mathbf{w}^\star)}\]

• Definição do Vetor de Erro: \(\mathbf{e}_k = \mathbf{w}_k - \mathbf{w}^\star\).
• Passo da Descida do Gradiente: \[\mathbf{w}_{k+1} = \mathbf{w}_k - \alpha \nabla f(\mathbf{w}_k) = \mathbf{w}_k - \alpha A(\mathbf{w}_k - \mathbf{w}^\star)\]

Subtraindo \(\mathbf{w}^\star\) de ambos os lados da atualização: \[\mathbf{w}_{k+1} - \mathbf{w}^\star = (\mathbf{w}_k - \mathbf{w}^\star) - \alpha A(\mathbf{w}_k - \mathbf{w}^\star) \implies \mathbf{e}_{k+1} = \mathbf{(I - \alpha A) \mathbf{e}_k}\] O processo é um sistema dinâmico linear regido pela matriz \(T_\alpha = (I - \alpha A)\)!

Desacoplamento Modal nos Autovetores

Rotação para a Base Própria (\(A = Q \Lambda Q^T\))

Pelo Teorema Espectral da Aula 4, \(Q = [\mathbf{v}_1, \dots, \mathbf{v}_d]\) é ortogonal (\(Q^T Q = I\)): \[\mathbf{e}_{k+1} = (I - \alpha Q \Lambda Q^T)\mathbf{e}_k = Q (I - \alpha \Lambda) Q^T \mathbf{e}_k\]

• Coordenadas Modais: Projetando o erro nos autovetores com \(\tilde{\mathbf{e}}_k = Q^T \mathbf{e}_k\): \[\tilde{\mathbf{e}}_{k+1} = (I - \alpha \Lambda) \tilde{\mathbf{e}}_k\]
• Diagonalização Perfeita: Como \((I - \alpha \Lambda)\) é diagonal, as dimensões não se misturam!

Dinâmicas Escalares 1D Independentes: Para cada coordenada modal \(i \in \{1, \dots, d\}\) ao longo do autovetor \(\mathbf{v}_i\): \[\tilde{e}_{k+1, i} = (1 - \alpha \lambda_i) \tilde{e}_{k, i} \implies \mathbf{\tilde{e}_{k, i} = (1 - \alpha \lambda_i)^k \tilde{e}_{0, i}}\] O problema multidimensional separa-se em \(d\) decaimentos unidimensionais desacoplados.

O Conflito Minimax de Chebyshev

O Raio Espectral como Pior Caso

Para que \(\mathbf{e}_k \to \mathbf{0}\), todo autovalor deve contrair. O gargalo é dado pelos dois extremos: \[\rho(\alpha) = \max_{i=1,\dots,d} |1 - \alpha \lambda_i| = \mathbf{\max \left\{ 1 - \alpha \lambda_{\min}, \; \alpha \lambda_{\max} - 1 \right\}}\]

• O Cabo de Guerra Antagônico:
  • Aumentar \(\alpha\): Acelera o eixo lento (\(1 - \alpha \lambda_{\min}\) cai), mas excita o eixo rápido (\(\alpha \lambda_{\max} - 1\) sobe).
  • Diminuir \(\alpha\): Acalma o eixo rápido, mas paralisa o eixo lento (\(1 - \alpha \lambda_{\min} \approx 1\)).

O Equilíbrio Ótimo de Chebyshev

O melhor passo minimiza o pior caso no ponto exato de interseção das duas retas: \[1 - \alpha^\star \lambda_{\min} = \alpha^\star \lambda_{\max} - 1 \implies \mathbf{\alpha^\star = \frac{2}{\lambda_{\max} + \lambda_{\min}}}\]

A Taxa Ótima de Chebyshev: \(\rho^\star = \frac{\kappa - 1}{\kappa + 1}\)

Dedução da Taxa Ótima (Boyd §9.3.2)

Substituindo \(\alpha^\star = \frac{2}{\lambda_{\max} + \lambda_{\min}}\) na cota de contração: \[\rho^\star = 1 - \frac{2\lambda_{\min}}{\lambda_{\max} + \lambda_{\min}} = \frac{\lambda_{\max} - \lambda_{\min}}{\lambda_{\max} + \lambda_{\min}} = \mathbf{\frac{\kappa - 1}{\kappa + 1}}, \quad \text{onde } \kappa = \frac{\lambda_{\max}}{\lambda_{\min}}\] O decaimento da perda satisfaz: \(f(\mathbf{w}_k) - f^\star \le \mathbf{\left(\frac{\kappa - 1}{\kappa + 1}\right)^{2k}} (f(\mathbf{w}_0) - f^\star)\).

• \(\kappa = 1\) (Tigela Esférica): \(\rho^\star = \frac{0}{2} = 0 \implies\) convergência em 1 único passo.
• \(\kappa = 10\): \(\rho^\star = \frac{9}{11} \approx 0{,}82 \implies\) erro diminui \(\approx 18\%\) por iteração.
• \(\kappa = 100\): \(\rho^\star = \frac{99}{101} \approx 0{,}98 \implies\) erro diminui míseros \(2\%\) por iteração.
• \(\kappa = 23.460\) (California Housing): \(\rho^\star \approx \mathbf{0{,}999915} \implies\) paralisia por ziguezague (\(81.000\) iterações!).

Pausa Ativa 3: Análise Espectral e o Número de Condição

O Preço do Eixo Lento

Considere uma forma quadrática em \(\mathbb{R}^2\) com Hessiana diagonal tendo autovalores \(\lambda_1 = 100\) e \(\lambda_2 = 1\). Se aplicarmos a Descida do Gradiente com o passo ótimo \(\alpha^\star = \frac{2}{100 + 1} \approx 0{,}0198\), qual será o fator de redução do erro na coordenada \(1\) e na coordenada \(2\) a cada passo? Por que o eixo de menor curvatura dita a lentidão de todo o processo?

V ou F: Dinâmica Espectral do Erro

Julgue V ou F — a questão só conta se acertar os 4 itens:

• □ Em uma forma quadrática \(A \succ 0\), o passo crítico máximo para evitar que o erro exploda assintoticamente é \(\alpha_{\text{crit}} = \frac{2}{\lambda_{\max}(A)}\).
• □ Quando o tamanho de passo satisfaz \(\frac{1}{\lambda_i} < \alpha < \frac{2}{\lambda_i}\), o erro ao longo do autovetor \(\mathbf{v}_i\) oscila alternando de sinal a cada iteração.
• □ Se todos os autovalores da matriz Hessiana forem rigorosamente iguais (\(\kappa = 1\)), a Descida do Gradiente com passo \(\alpha = 1/\lambda_1\) requer \(d\) iterações para convergir.
• □ O raio espectral da matriz de transição de erro \((I - \alpha A)\) pode ser estritamente negativo.

Pausa Ativa 3: Resposta

V ou F: Resposta

• ✔ V: A estabilidade assintótica exige \(|1 - \alpha \lambda_i| < 1\), limitado por \(\lambda_{\max}\).
• ✔ V: Nessa faixa, \(-1 < 1 - \alpha \lambda_i < 0\), produzindo oscilação com decaimento.
• ✗ F: Com \(\kappa = 1\), o algoritmo atinge o mínimo em 1 única iteração.
• ✗ F: O raio espectral é definido como \(\max_i |\lambda_i|\), sendo por definição \(\ge 0\).

Voltando à pergunta: Na coordenada 1 (eixo rápido), o erro é multiplicado por \(1 - \alpha^\star \lambda_1 = 1 - \frac{200}{101} = -\frac{99}{101} \approx -0{,}9802\) (ziguezague com inversão de sinal). Na coordenada 2 (eixo lento), o erro é multiplicado por \(1 - \alpha^\star \lambda_2 = 1 - \frac{2}{101} = +\frac{99}{101} \approx +0{,}9802\). O erro diminui apenas \(\approx 2\%\) por passo. O eixo rápido impede aumentar o passo; o eixo lento retém o erro.

Bloco 3: O Problema-Fio no California Housing e a Padronização

Diagnóstico do California Housing

A Realidade Numérica

\(N = 20.640, \quad d = 4 \implies \lambda_{\max} \approx 849{,}37, \quad \lambda_{\min} \approx 0{,}0362, \quad \boldsymbol{\kappa \approx 23.460{,}5}\)

• Fator de Contração de Chebyshev: \[\rho^\star = \frac{23.459{,}5}{23.461{,}5} \approx \mathbf{0{,}9999147}\]
• Iterações para Reduzir o Erro em \(99{,}9\%\) (\(10^{-3}\)): \[k \ge \frac{\ln(10^{-3})}{\ln(0{,}9999147)} \approx \mathbf{81.000\text{ iterações}}!\]

A Pergunta Prática

Será preciso alterar o algoritmo de otimização, ou a Álgebra Linear fornece uma cura na própria matriz de dados?

Z-Score como Pré-condicionador de Jacobi

Mudança de Coordenadas e Escalonamento Diagonal

A padronização \(\tilde{X} = X_c D^{-1/2}\) equivale à reparametrização \(\boldsymbol{\beta} = P \tilde{\boldsymbol{\beta}}\) com \(P = D^{-1/2} = \operatorname{diag}(s_1^{-1}, \dots, s_d^{-1})\).

• A Nova Hessiana (Congruência): \[\tilde{H} = P^T H P = D^{-1/2} H D^{-1/2}\]
• Matriz de Correlação de Pearson: \[\tilde{H}_{ij} = \frac{\operatorname{Cov}(x_i, x_j)}{s_i s_j} = r_{ij} \implies \boldsymbol{\tilde{H}_{jj} = 1}\] Isso é rigorosamente o Pré-condicionador Diagonal de Jacobi (\(M = \operatorname{diag}(H)\))!

Equivalência com a Descida Pré-Condicionada

Gradiente no Espaço Padronizado \(\implies\) PGD no Espaço Original

\[\tilde{\boldsymbol{\beta}}_{k+1} = \tilde{\boldsymbol{\beta}}_k - \alpha \nabla_{\tilde{\boldsymbol{\beta}}} \tilde{L}(\tilde{\boldsymbol{\beta}}_k) = \tilde{\boldsymbol{\beta}}_k - \alpha D^{-1/2} \nabla_{\boldsymbol{\beta}} L(\boldsymbol{\beta}_k)\] Multiplicando à esquerda por \(P = D^{-1/2}\) (pois \(\boldsymbol{\beta} = D^{-1/2}\tilde{\boldsymbol{\beta}}\)): \[\boldsymbol{\beta}_{k+1} = \boldsymbol{\beta}_k - \alpha D^{-1} \nabla_{\boldsymbol{\beta}} L(\boldsymbol{\beta}_k) \iff \beta_{j, k+1} = \beta_{j, k} - \frac{\alpha}{s_j^2}[\nabla L(\boldsymbol{\beta}_k)]_j\]

Equivalência com a Descida Pré-Condicionada

• Passos Adaptativos: Variâncias grandes têm passos atenuados; variâncias baixas aceleram.
• Resultado no California Housing: \[\kappa \approx 23.460{,}5 \longrightarrow \boldsymbol{\tilde{\kappa} \approx 12{,}9} \quad (81.000 \to \mathbf{45\text{ passos}}, \mathbf{1.800\times}\text{ mais rápido})\]

Pausa Ativa 4: Padronização e a Hessiana

O Segredo da Padronização

No California Housing, a renda média varia de \(0{,}5\) a \(15\), e a idade dos imóveis varia de \(1\) a \(52\). O que acontece geometricamente com as curvas de nível quando combinamos variáveis com escalas tão discrepantes? De que maneira a padronização linear consegue achatar o número de condição de \(23.460\) para \(12{,}9\)?

V ou F: Escala e Condicionamento

Julgue V ou F — a questão só conta se acertar os 4 itens:

• □ A padronização de atributos via \(Z\)-score altera a predição final ótima \(\hat{\mathbf{y}}\) de um modelo de regressão linear OLS não regularizado.
• □ Após a padronização das colunas de \(X\), todos os elementos da diagonal de \(\frac{1}{N}\tilde{X}^T \tilde{X}\) são rigorosamente iguais a 1.
• □ O algoritmo de Descida do Gradiente é invariante a transformações lineares de escala nos atributos.
• □ Reduzir o número de condição de \(20.000\) para \(13\) diminui o número de iterações necessárias para atingir uma tolerância de erro fixa em ordens de magnitude.

Pausa Ativa 4: Resposta

V ou F: Resposta

• ✗ F: A transformação é linear e invertível; os coeficientes ótimos são mapeados de volta sem alterar \(\hat{\mathbf{y}}\).
• ✔ V: A variância de cada coluna padronizada é normalizada para exatamente 1 — atuando como o pré-condicionador diagonal de Jacobi que transforma a Hessiana na matriz de correlação.
• ✗ F: A Descida do Gradiente é extremamente sensível à métrica euclidiana de escala dos eixos.
• ✔ V: O fator de contração \(\rho^\star\) cai de \(\approx 0{,}9999\) para \(\approx 0{,}85\), acelerando drasticamente a convergência.

Voltando à pergunta: Uma variável de grande magnitude gera termos da ordem de \(10^6\) na matriz de covariância, esticando as curvas de nível em elipses gigantescas. A padronização \(Z\)-score opera como um pré-condicionador diagonal de Jacobi \(P = D^{-1/2}\), forçando todos os elementos da diagonal de \(\frac{1}{N}\tilde{X}^T \tilde{X}\) a serem iguais a 1. Os autovalores passam a depender apenas da correlação linear entre os atributos, e não das unidades de medida, eliminando o ziguezague patológico.

Bloco 4: Extensão para Além dos Mínimos Quadrados — Regressão Logística

Por Que Precisamos do GD? Regressão Logística (PRML §4.3.2)

O Modelo Probabilístico

Classificação binária \(y_n \in \{0, 1\}\). A probabilidade da classe 1 é modelada pela função sigmoide: \[\hat{y}_n = P(y_n = 1 \mid \mathbf{x}_n) = \sigma(\mathbf{w}^T \mathbf{x}_n) = \frac{1}{1 + \exp(-\mathbf{w}^T \mathbf{x}_n)}\]

• A Derivada Mágica da Sigmoide: \[\sigma'(z) = \mathbf{\sigma(z)(1 - \sigma(z))}\]

O Problema Central

Diferente dos mínimos quadrados (onde o modelo é linear \(\hat{y} = X\mathbf{w}\)), aqui \(\mathbf{w}\) está aprisionado dentro da não-linearidade transcendental da sigmoide!

Dedução do Gradiente da Regressão Logística

Perda de Entropia Cruzada Binária

\[\mathcal{L}(\mathbf{w}) = -\frac{1}{N}\sum_{n=1}^N \left[ y_n \ln \hat{y}_n + (1 - y_n) \ln(1 - \hat{y}_n) \right]\]

• Regra da Cadeia com Ativação \(a_n = \mathbf{w}^T \mathbf{x}_n\): \[\frac{\partial \mathcal{L}}{\partial \hat{y}_n} = \frac{1}{N}\frac{\hat{y}_n - y_n}{\hat{y}_n(1 - \hat{y}_n)}, \quad \frac{\partial \hat{y}_n}{\partial a_n} = \hat{y}_n(1 - \hat{y}_n)\] \[\implies \frac{\partial \mathcal{L}}{\partial a_n} = \frac{1}{N}(\hat{y}_n - y_n)\]

Importante

A Forma Matricial do Gradiente: \(\nabla \mathcal{L}(\mathbf{w}) = \mathbf{\frac{1}{N} X^T (\hat{\mathbf{y}} - \mathbf{y})}, \quad \text{onde } \hat{\mathbf{y}} = \boldsymbol{\sigma}(X\mathbf{w})\)

Mesma forma estrutural dos mínimos quadrados, mas agora \(\hat{\mathbf{y}}\) é não linear!

O Impasse Transcendental e a Salvação Convexa

O Impasse da Solução Fechada

\[\frac{1}{N}X^T(\boldsymbol{\sigma}(X\mathbf{w}) - \mathbf{y}) = \mathbf{0} \implies \text{Sem solução analítica fechada!}\] Não existe matriz inversa que desfaça a exponencial da sigmoide somada sobre \(N\) amostras.

A Hessiana e a Convexidade Estrita

\[\nabla^2 \mathcal{L}(\mathbf{w}) = \frac{1}{N} X^T S X, \quad S = \text{diag}(\hat{y}_n(1 - \hat{y}_n)) \succ 0\] - Se \(rk(X) = d\), então \(\nabla^2 \mathcal{L}(\mathbf{w}) \succ 0\) em todo o \(\mathbb{R}^d\). - A perda é estritamente convexa: existe um único mínimo global!

A Vitória da Descida do Gradiente

Mesmo sem fórmula algébrica, o algoritmo iterativo de 1ª ordem tem garantia matemática absoluta de convergência ao mínimo global ótimo.

Pausa Ativa 5: Regressão Logística e a Otimização de 1ª Ordem

Por Que Não Inverter?

Na regressão linear, isolamos \(\boldsymbol{\beta} = (X^T X)^{-1} X^T \mathbf{y}\). Na regressão logística, o gradiente tem formato idêntico: \(\frac{1}{N}X^T(\boldsymbol{\sigma}(X\mathbf{w}) - \mathbf{y}) = \mathbf{0}\). Por que não podemos usar inversão de matrizes para achar \(\mathbf{w}\) na regressão logística? A ausência de solução fechada significa que o problema tem múltiplos mínimos locais?

V ou F: Regressão Logística e Otimização

Julgue V ou F — a questão só conta se acertar os 4 itens:

• □ A derivada da função sigmoide satisfaz \(\sigma'(z) = \sigma(z)(1 - \sigma(z))\).
• □ A matriz Hessiana da regressão logística é constante em todo o espaço de parâmetros.
• □ Como \(\hat{y}_n \in (0, 1)\), a matriz de pesos \(S = \text{diag}(\hat{y}_n(1 - \hat{y}_n))\) é estritamente definida positiva.
• □ A perda de entropia cruzada binária é estritamente convexa quando \(X\) possui posto coluna completo, garantindo que todo ponto crítico é mínimo global único.

Pausa Ativa 5: Resposta

V ou F: Resposta

• ✔ V: Derivada clássica da logística via regra do quociente/cadeia.
• ✗ F: A Hessiana depende de \(\mathbf{w}\) através de \(\hat{y}_n = \sigma(\mathbf{w}^T \mathbf{x}_n)\), mudando a curvatura a cada ponto.
• ✔ V: O produto \(\hat{y}_n(1 - \hat{y}_n)\) é estritamente positivo para qualquer \(\mathbf{w}\) finito.
• ✔ V: Como \(X^T S X \succ 0\), a função é estritamente convexa e o mínimo é único.

Voltando à pergunta: Não é possível inverter porque \(\mathbf{w}\) está dentro do expoente não linear da função sigmoide \(\sigma(\mathbf{w}^T \mathbf{x}_n)\) somada sobre \(N\) amostras, gerando uma equação transcendental sem inversa algébrica. Isso não significa que haja múltiplos mínimos locais: a Hessiana é estritamente definida positiva (\(\nabla^2 \mathcal{L} \succ 0\)), garantindo convexidade estrita e um único mínimo global, encontrado perfeitamente pela Descida do Gradiente.

Fechamento

Retomando as Cinco Perguntas Fundamentais

1. \(\mathbf{w}_{k+1} = \mathbf{w}_k - \alpha \nabla f(\mathbf{w}_k)\); descida estrita garantida se e somente se \(0 < \alpha < \frac{2}{L}\) (Lema de Descida).

2. Erro modal: \(\tilde{e}_{k, i} = (1 - \alpha \lambda_i)^k \tilde{e}_{0, i}\). Taxa ótima de contração de Chebyshev: \(\rho^\star = \frac{\kappa - 1}{\kappa + 1}\).

3. Ziguezague: em elipsóides alongados (\(\kappa \gg 1\)), \(-\nabla f\) aponta transversalmente; o passo é travado por \(\lambda_{\max}\) e o progresso é paralisado por \(\lambda_{\min}\).

4. Padronização \(Z\)-score iguala os elementos diagonais de \(X^T X\), derrubando \(\kappa\) de \(23.460\) para \(12{,}9\) e acelerando a convergência em \(1.800\times\).

5. Regressão logística possui Hessiana convexa \(\frac{1}{N}X^T S X \succ 0\), mas sem fórmula fechada para \(\nabla \mathcal{L} = \mathbf{0}\); a Descida do Gradiente é indispensável.

O Dilema da Regressão Logística: Curvatura Dinâmica

Por Que o Z-score Resolve Apenas Parte do Problema?

• Regressão Linear: Hessiana constante \(H = \frac{1}{N}X^T X \implies\) Z-score é um pré-condicionador fixo perfeito.
• Regressão Logística: Hessiana muda a cada iteração: \[\nabla^2 \mathcal{L}(\mathbf{w}_k) = \frac{1}{N}X^T S(\mathbf{w}_k) X, \quad S_{nn} = \hat{y}_n(1 - \hat{y}_n)\]

• Curvatura Deformável: As regiões de saturação (\(\hat{y}_n \to 0\) ou \(1\)) alteram os autovalores ao longo da trajetória.
• Não Existe Pré-condicionador Único: Uma matriz diagonal fixa não neutraliza uma Hessiana que gira e estica continuamente!

Próximos Passos: Da Linearidade às Redes Neurais (Aula 9)

Como Navegar em Modelos Não-Lineares Profundamente Compostos?

• Séries de Taylor Multivariadas: Aproximar localmente superfícies de custo complexas por hiperplanos tangentes (1ª ordem) e paraboloides osculadores (2ª ordem).
• A Regra da Cadeia Matricial: Propagar gradientes através de camadas compostas de neurônios sem cometer erros dimensionais \(\implies\) Backpropagation.

Ponte para a Aula 9

Séries de Taylor e a Regra da Cadeia Multivariada: os alicerces analíticos do treinamento de redes neurais!

Exercícios Soluções