Aula 9: Teoria de Ensembles e Redução de Variância — Bagging e Random Forests

Supervised Learning

Marcos M. Raimundo — Instituto de Computação, UNICAMP

2026-10-11

Revisão e Introdução

Revisão: O Que a Decomposição Viés-Variância Diz

Decomposição Formal do EMSE

\[\text{EMSE}(\mathbf{x}) = \text{Bias}^2(\mathbf{x}) + \text{Var}(\mathbf{x}) + \sigma^2\]

Árvores de Decisão Profundas (Aula 3):
- \(\text{Bias}^2 \approx 0\): capacidade não paramétrica de aproximar interações arbitrárias.
- \(\text{Var} \gg 0\): instabilidade hierárquica extrema sob perturbações em \(\mathcal{D}\).
O Dilema de Regularização:
- Ridge/Lasso (Aula 7) abatem variância aumentando o viés.
A Pergunta Central da Aula 9:
- É possível reduzir a variância de um estimador não paramétrico sem inflacionar seu viés?

Ideia Central: A Média Estatística como Estabilizador

O Princípio Teórico:
- Seja \(T_1, \dots, T_B\) estimadores independentes com \(\mathbb{E}[T_b] = \mu\) e \(\text{Var}(T_b) = \sigma^2\).
- A média \(\bar{T} = \frac{1}{B} \sum_{b=1}^B T_b\) satisfaz: \[\mathbb{E}[\bar{T}] = \mu, \qquad \text{Var}(\bar{T}) = \frac{\sigma^2}{B}\]

A Realidade Prática:
- Não temos \(B\) amostras independentes da natureza, mas apenas um único conjunto \(\mathcal{D}\).

A Solução em Duas Frentes:
1. Bagging (Breiman, 1996): Reamostragem bootstrap com reposição (\(\mathcal{D}^{*b} \sim \hat{P}_N\)).
2. Random Forests (Breiman, 2001): Subamostragem aleatória de atributos (\(m \le p\)) para quebrar a correlação entre as árvores.

Roteiro da Aula

Preservação de Viés: Por que a média aritmética não diminui o viés?
Variância Correlacionada: Dedução de \(\text{Var}(\bar{T}) = \rho \sigma^2 + \frac{1-\rho}{B}\sigma^2\).
Random Forests: Como o sorteio de \(m \le p\) variáveis quebra \(\rho\)?
Validação OOB: A dedução de \((1 - 1/N)^N \to 1/e \approx 0{,}368\) e o erro sem particionamento extra.
Importância de Atributos: Contraste formal entre impureza (MDI) e permutação (MDA).

Problema Motivador: A Instabilidade de uma Única Árvore

Árvore de Decisão Não Podada (\(N = 2.000\)):
- \(\text{MSE}_{\text{treino}} = 0{,}0000\) (interpolação perfeita das folhas).
- \(\text{MSE}_{\text{teste}} = 0{,}6133\) (variância catastrófica).

Bagging (\(B = 100\) árvores):
- \(\text{MSE}_{\text{teste}} = 0{,}3044\) (corte de \(50\%\) no erro de teste).
Random Forest (\(B = 100\), \(m = 3\)):
- \(\text{MSE}_{\text{teste}} = 0{,}2897\) (ganho adicional por descorrelação).

Pausa 1: Mecânica da Média e Comportamento do Viés

O Paradoxo do Subajuste

Um cientista de dados treina uma regressão linear simples \(y = \beta_0 + \beta_1 x\) para aproximar uma função fortemente senoidal e observa um erro de treino elevado e um erro de validação igualmente elevado (\(\text{MSE} \approx 0{,}85\)). O pesquisador então sugere: “Vamos aplicar Bagging com \(B = 500\) réplicas bootstrap para resolver o problema.” Qual é o erro fundamental dessa estratégia?

V ou F: Fundamentos da Média de Modelos

Julgue V ou F — a questão só conta se acertar os 4 itens:

□ A média aritmética das predições de múltiplos modelos possui, por linearidade da esperança, um viés idêntico ao viés esperado de cada modelo base individual.
□ O Bagging é uma técnica projetada primariamente para combater o viés de modelos que sofrem de subajuste (underfitting).
□ Em árvores de decisão profundas, o viés é naturalmente baixo devido à alta flexibilidade de particionamento local do espaço de atributos.
□ Aumentar o número de árvores \(B\) indefinidamente em um ensemble Bagging eventualmente levará o modelo a sofrer sobreajuste (overfitting).

Pausa Ativa 1: Resposta

V ou F: Resposta

✔ V: \(\mathbb{E}\left[\frac{1}{B}\sum T_b\right] = \frac{1}{B}\sum \mathbb{E}[T_b] = \mathbb{E}[T]\), preservando o viés inalterado.
✗ F: O Bagging atua na variância; modelos com alto viés permanecem enviesados após a média.
✔ V: Árvores profundas têm alta capacidade de aproximação não paramétrica, mantendo baixo viés.
✗ F: Conforme provado por Breiman (2001), o erro de generalização do Bagging/RF converge para um limite finito quando \(B \to \infty\), sem divergir para overfitting.

Voltando à pergunta: A proposta é completamente equivocada. O modelo linear sofre de alto viés (falta de capacidade estrutural para capturar a senoide). Como a média aritmética preserva a esperança do estimador (\(\mathbb{E}[\hat{f}_{\text{bag}}] = \mathbb{E}[\hat{f}_{\text{OLS}}]\)), o Bagging de retas continuará sendo uma reta, com o mesmo erro estrutural de aproximadamente \(0{,}85\).

Intuição — A Sabedoria das Multidões Correlacionadas

O Efeito Comitê: Variância sob Independência

Teorema: Variância da Média sob Independência (\(\text{Cov} = 0\))

\[\text{Var}\left(\frac{1}{B}\sum_{b=1}^B \hat{f}_b(\mathbf{x})\right) = \frac{\sigma^2}{B} \xrightarrow{B \to \infty} 0\]

Passo 1 — Constante Quadrática para Fora da Variância: \[\text{Var}\left(\frac{1}{B}\sum_{b=1}^B \hat{f}_b(\mathbf{x})\right) = \frac{1}{B^2} \text{Var}\left(\sum_{b=1}^B \hat{f}_b(\mathbf{x})\right)\]

Passo 2 — Expansão em Variâncias e Covariâncias Cruzadas: \[= \frac{1}{B^2} \left[ \sum_{b=1}^B \text{Var}(\hat{f}_b(\mathbf{x})) + \sum_{b=1}^B \sum_{b' \neq b}^B \text{Cov}(\hat{f}_b(\mathbf{x}), \hat{f}_{b'}(\mathbf{x})) \right]\]

Passo 3 — Aplicação da Hipótese de Independência (\(\text{Cov} = 0\)):

\(B\) termos de variância individual: \(\sum_{b=1}^B \sigma^2 = B\sigma^2\).
\(B(B - 1)\) termos de covariância: todos nulos sob independência (\(= 0\)). \[= \frac{1}{B^2}\left[ B\sigma^2 + 0 \right] = \frac{\sigma^2}{B} \quad \blacksquare\]

Bebendo da Mesma Fonte: Dependência Amostral

A Ilusão da Independência no Mundo Real:
- Não existem infinitos conjuntos de dados da natureza: temos apenas um conjunto finito \(\mathcal{D}\).
- As réplicas bootstrap são geradas reamostrando desse mesmo \(\mathcal{D}\).
- Todos os modelos bebem da mesma fonte (compartilham \(\approx 63{,}2\%\) dos mesmos dados).

Por que \(\text{Cov} \neq 0\) Muda Completamente o Resultado:
- Peculiaridades e ruídos de \(\mathcal{D}\) afetam todas as réplicas \(\implies\) correlação positiva \(\rho = \text{Corr}(T_b, T_{b'}) > 0\).
- Os \(B(B-1)\) termos de covariância cruzada não se anulam!

A Nova Fórmula e o Piso de Variância (Variance Floor): \[\text{Var}\left(\frac{1}{B}\sum_{b=1}^B T_b\right) = \rho\sigma^2 + \frac{1-\rho}{B}\sigma^2 \xrightarrow{B \to \infty} \rho\sigma^2\]
- A média zera o ruído individual (\(1/B\)), mas preserva o erro comum da fonte (\(\rho\sigma^2\)).
- Próximo passo: Para reduzir a variância além do Bagging, é preciso atacar \(\rho\) (Random Forests).

Por que Estimadores Lineares Não Ganham com Bagging

Modelos Estáveis (OLS, Média Amostral, Regressão Ridge):
- Pequenas permutações nos dados quase não movem os coeficientes.
- Correlação bootstrap elevada (\(\rho \approx 0{,}50\)).
- O Bagging de retas OLS produz essencialmente a mesma reta OLS original.

Modelos Instáveis (Árvores CART não podadas):
- Altamente sensíveis: alterar um único ponto de treino pode mudar o corte da raiz.
- O Bagging opera como um operador de regularização por suavização (smoothing):
  - Transforma partições retangulares rígidas em superfícies de decisão contínuas.

O Mecanismo em Diagrama: Da Amostragem à Decisão

Pausa 2: Perturbação de Dados e Estabilidade

O Experimento dos Modelos Estáveis

Considere dois algoritmos supervisionados: um classificador vizinhos mais próximos com \(k = 1\) (\(1\)-NN) e um classificador linear por Análise Discriminante Linear (LDA) com matriz de covariância compartilhada. Em qual dos dois algoritmos você espera que o Bagging produza a redução de erro de generalização mais expressiva?

V ou F: Propriedades da Estabilidade

Julgue V ou F — a questão só conta se acertar os 4 itens:

□ Estimadores lineares como Mínimos Quadrados Ordinários exibem grande ganho preditivo sob Bagging porque sua variância original é muito elevada.
□ O classificador \(1\)-NN é instável a pequenas perturbações nas fronteiras de dados, sendo um forte candidato a se beneficiar do agregamento por bootstrap.
□ A operação de agregação por média do Bagging reduz a descontinuidade das fronteiras de decisão geradas por árvores CART.
□ Se os erros de predição de todos os modelos base forem perfeitamente correlacionados (\(\rho = 1\)), a variância do ensemble será idêntica à variância de um único modelo base.

Pausa Ativa 2: Resposta

V ou F: Resposta

✗ F: OLS é um estimador linear estável; sua correlação bootstrap é alta (\(\approx 0{,}5\)) e o Bagging praticamente reproduz o estimador original.
✔ V: \(1\)-NN cria fronteiras de Voronoi extremamente sensíveis à posição de pontos isolados; a média suaviza essas fronteiras.
✔ V: A média de funções em degrau ortogonais gera superfícies de probabilidade suaves e contínuas.
✔ V: Substituindo \(\rho = 1\) na fórmula da variância, \(\text{Var}(\bar{T}) = 1 \cdot \sigma^2 + 0 = \sigma^2\).

Voltando à pergunta: O classificador \(1\)-NN terá o maior benefício. O \(1\)-NN é o exemplo arquetípico de estimador não paramétrico de variância massiva e baixo viés (seus limites de decisão formam células de Voronoi fragmentadas). O LDA, por sua vez, assume normalidade com covariância comum, gerando uma fronteira linear extremamente estável que ganha quase nada com o Bagging.

Bloco 1: Bagging e a Teoria Estatística da Média de Estimadores

O Princípio do Bootstrap: De Efron (1979) a Breiman (1996)

O Problema da Inferência (Efron, 1979):
- Queremos avaliar a variabilidade de um modelo, mas a natureza nos deu apenas uma amostra finita \(\mathcal{D}\).
- Não podemos voltar à população \(P\) para coletar novos dados.

O Princípio do Plug-in:
- Substituir a população desconhecida \(P\) pela distribuição empírica \(\hat{P}_N\) (massa \(1/N\) em cada ponto observado).
- Simular novos dados sorteando \(N\) pontos com reposição a partir de \(\mathcal{D}\): \[\mathcal{D}^{*b} = \{(\mathbf{x}_i^*, y_i^*)\}_{i=1}^N \sim \hat{P}_N\]
- Com reposição: alguns dados se repetem; \(\approx 36{,}8\%\) ficam de fora (Out-of-Bag).

A Virada de Leo Breiman (1996):
- Efron usou o bootstrap para medir a variância do estimador.
- Breiman usou o bootstrap para destruir a variância: treinar um modelo em cada réplica e calcular a média.
- Nasce o Bagging: \(\textbf{B}\)ootstrap \(\textbf{Agg}\)regat\(\textbf{ing}\).

Definição Formal do Estimador Bagging

Algoritmo de Bagging em Regressão

Para cada \(b = 1, \dots, B\):
- Extrair amostra bootstrap \(Z^{*b}\) de tamanho \(N\) com reposição a partir de \(Z\).
- Ajustar o modelo base não podado: \(\hat{f}^{*b}(\mathbf{x}) = \hat{f}(\mathbf{x}; Z^{*b})\).
Agregação Final: \[\hat{f}_{\text{bag}}(\mathbf{x}) = \frac{1}{B} \sum_{b=1}^B \hat{f}^{*b}(\mathbf{x})\]

Classificação: Se \(\hat{C}^{*b}(\mathbf{x}) \in \{1, \dots, K\}\) for a classe predita pelo modelo \(b\), o voto majoritário determina a predição final: \[\hat{C}_{\text{bag}}(\mathbf{x}) = \arg\max_{k} \sum_{b=1}^B \mathbb{I}(\hat{C}^{*b}(\mathbf{x}) = k)\]

O Viés Não é Reduzido: Demonstração Formal

Teorema da Preservação do Viés

\[\text{Bias}(\hat{f}_{\text{bag}}(\mathbf{x})) = \text{Bias}(\hat{f}^*(\mathbf{x}))\]

Passo 1 — Definição da Esperança do Ensemble: \[\mathbb{E}\left[\hat{f}_{\text{bag}}(\mathbf{x})\right] = \mathbb{E}\left[\frac{1}{B} \sum_{b=1}^B \hat{f}^{*b}(\mathbf{x})\right]\]

Passo 2 — Linearidade da Esperança: \[= \frac{1}{B} \sum_{b=1}^B \mathbb{E}\left[\hat{f}^{*b}(\mathbf{x})\right]\]

Passo 3 — Distribuição Idêntica dos Modelos Base: Como cada \(\hat{f}^{*b}\) é identicamente distribuído com esperança \(\mathbb{E}[\hat{f}^*]\): \[= \frac{1}{B} \cdot B \cdot \mathbb{E}\left[\hat{f}^*(\mathbf{x})\right] = \mathbb{E}\left[\hat{f}^*(\mathbf{x})\right]\]

Conclusão Fundamental

O Bagging é matematicamente incapaz de reduzir o viés. Se os modelos base forem enviesados, o ensemble permanecerá igualmente enviesado.

Teorema da Variância de Variáveis Correlacionadas

Equação Fundamental (ESL eq. 15.1)

\[\text{Var}\left(\frac{1}{B}\sum_{b=1}^B T_b\right) = \rho \sigma^2 + \frac{1 - \rho}{B}\sigma^2\]

Passo 1 — Expansão da Variância da Soma: \[\text{Var}\left(\frac{1}{B}\sum_{b=1}^B T_b\right) = \frac{1}{B^2} \left[ \sum_{b=1}^B \text{Var}(T_b) + \sum_{b=1}^B \sum_{b' \neq b} \text{Cov}(T_b, T_{b'}) \right]\]

Passo 2 — Contagem dos Termos:

\(B\) termos de variância individual: \(\sum_{b=1}^B \sigma^2 = B \sigma^2\).
\(B(B - 1)\) termos de covariância: \(\sum_{b \neq b'} \rho \sigma^2 = B(B - 1)\rho \sigma^2\).

Passo 3 — Álgebra e Decomposição dos Termos: \[= \frac{B \sigma^2 + B(B - 1)\rho \sigma^2}{B^2} = \frac{\sigma^2}{B} + \left(1 - \frac{1}{B}\right)\rho \sigma^2\] \[= \rho \sigma^2 + \frac{1 - \rho}{B}\sigma^2 \quad \blacksquare\]

O Gargalo Fundamental do Bagging: A Correlação \(\rho\)

Limite com \(B \to \infty\): \[\lim_{B \to \infty} \text{Var}(\bar{T}) = \rho \sigma^2\]

Diagnóstico Teórico:
- Adicionar mais árvores (\(B \uparrow\)) elimina o ruído amostral individual (\(\frac{1-\rho}{B}\sigma^2\)).
- Porém, não consegue alterar o piso \(\rho \sigma^2\).

A Patologia do Bagging Puro:
- Todas as árvores escolhem o atributo mais forte na raiz (MedInc).
- As árvores tornam-se “gêmeas estruturais”, mantendo \(\rho \approx 0{,}70\).
- Para reduzir o erro além desse patamar, precisamos de um mecanismo para derrubar \(\rho\).

Pausa 3: O Teto da Variância e o Número de Árvores

O Custo Computacional do Ensemble

Um engenheiro de infraestrutura nota que treinar \(B = 50\) árvores reduziu o MSE de \(0{,}60\) para \(0{,}32\). Ele propõe alocar mais servidores para rodar \(B = 5.000\) árvores na esperança de reduzir o MSE para perto de zero. Avalie se esse investimento se justifica com base na fórmula da variância correlacionada.

V ou F: Propriedades da Variância Correlacionada

Julgue V ou F — a questão só conta se acertar os 4 itens:

□ Se a correlação par-a-par \(\rho\) entre as árvores for estritamente nula (\(\rho = 0\)), a variância do ensemble converge a zero quando \(B \to \infty\).
□ Dobrar o número de árvores de \(B = 100\) para \(B = 200\) reduzirá a variância do ensemble pela metade, independentemente do valor de \(\rho\).
□ O valor mínimo teórico que a variância de um ensemble Bagging pode atingir quando \(B \to \infty\) é delimitado pelo produto \(\rho \sigma^2\).
□ Adicionar árvores a um modelo Random Forest pode aumentar o viés do estimador se \(B\) for excessivamente grande.

Pausa Ativa 3: Resposta

V ou F: Resposta

✔ V: Se \(\rho = 0\), a fórmula se reduz a \(\frac{\sigma^2}{B}\), cuja variância assintótica é zero.
✗ F: Apenas a parcela \(\frac{1-\rho}{B}\sigma^2\) é dividida por \(2\); a parcela \(\rho \sigma^2\) permanece inalterada.
✔ V: O termo residual não nulo quando \(B \to \infty\) é exatamente \(\rho \sigma^2\).
✗ F: O viés independe de \(B\) e permanece constante (\(\mathbb{E}[\hat{f}_{\text{RF}}] = \mathbb{E}[T]\)).

Voltando à pergunta: O investimento é injustificável. Com \(B = 50\), o termo decrescente \(\frac{1-\rho}{50}\sigma^2\) já foi em grande parte exaurido. Para \(B = 5.000\), o erro convergirá para o patamar assintótico \(\rho \sigma^2\) (que é estritamente positivo devido à correlação induzida pelo dataset compartilhado), trazendo ganhos marginais desprezíveis a um custo computacional 100 vezes maior.

Bloco 2: Florestas Aleatórias (Random Forests) e a Quebra da Correlação

O Algoritmo de Breiman (2001) e a Aleatoriedade Dupla

Algoritmo de Breiman (2001)

Em cada árvore \(b = 1, \dots, B\):

Nível da Amostra: Extrair réplica bootstrap \(\mathcal{D}^{*b}\) de tamanho \(N\).
Nível do Nó: Em cada bifurcação, selecionar aleatoriamente um subconjunto de \(m \le p\) variáveis preditoras candidatas.
Escolher o melhor corte apenas entre as \(m\) variáveis selecionadas.
Expandir a árvore até nós terminais profundos (sem poda).

O Objetivo Analítico:
- Impedir que variáveis hegemônicas dominem todas as árvores.
- Derrubar violentamente a correlação par-a-par \(\rho\).

Regras Práticas e a Escolha de \(m\)

Recomendações Canônicas (ESL §15.3):
- Classificação: \(m = \lfloor \sqrt{p} \rfloor\), \(n_{\min} = 1\).
- Regressão: \(m = \lfloor p/3 \rfloor\), \(n_{\min} = 5\).

Comportamento dos Extremos de \(m\):
- \(m = p \implies\) Bagging Puro:
  - Baixo viés individual, mas alta correlação entre árvores (\(\rho \uparrow\)).
- \(m = 1 \implies\) Descorrelação Máxima:
  - \(\rho \downarrow\) drástico, mas o viés individual cresce (\(\text{Bias}^2 \uparrow\)) e a variância individual sobe (\(\sigma^2 \uparrow\)).

O Ponto Ótimo

O valor ideal de \(m\) minimiza o compromisso \(\rho \sigma^2 + \text{Bias}^2\).

Como \(m\) Quebra a Correlação no California Housing

\(m\)	Correlação \(\rho\)	Variância Individual \(\sigma^2\)	\(\text{MSE}_{\text{teste}}\)	Erro OOB
\(1\)	\(0{,}4917\)	\(0{,}6139\)	\(0{,}3589\)	\(0{,}3575\)
\(2\)	\(0{,}6071\)	\(0{,}4873\)	\(0{,}3045\)	\(0{,}3188\)
\(3\)	\(0{,}6582\)	\(0{,}4271\)	\(0{,}2897\)	\(0{,}3065\)
\(5\)	\(0{,}6843\)	\(0{,}3983\)	\(0{,}3070\)	\(0{,}3224\)
\(8\) (Bagging)	\(0{,}7026\)	\(0{,}3803\)	\(0{,}3036\)	\(0{,}3355\)

Reduzir \(m\) quebra a correlação \(\rho\) (de \(0{,}7026\) para \(0{,}4917\)).
O ótimo preditivo ocorre em \(m = 3\), superando o Bagging puro.

Pausa 4: A Dinâmica de \(m\) e a Supressão de Atributos

O Atributo Onipresente

Uma base de dados médica com \(p = 100\) atributos contínuos onde um único biomarcador \(X_1\) possui correlação linear extrema com a doença (\(r = 0{,}98\)), enquanto outros \(99\) possuem correlações sutis (\(r \approx 0{,}15\)). O que ocorrerá com a estrutura das árvores no Bagging (\(m = 100\)) comparado a uma Random Forest com \(m = 10\)?

V ou F: Dinâmica de Hiperparâmetros em RF

Julgue V ou F — a questão só conta se acertar os 4 itens:

□ Reduzir o hiperparâmetro \(m\) em Random Forests sempre reduz o viés das árvores individuais que compõem o modelo.
□ No Bagging (\(m = p\)), se existir um atributo fortemente dominante nos dados, quase todas as árvores do ensemble realizarão o primeiro corte no mesmo atributo.
□ A subamostragem aleatória de atributos (\(m < p\)) permite que preditores moderadamente informativos tenham a oportunidade de liderar os cortes primários da árvore.
□ Ajustar \(m = 1\) garante a menor correlação teórica entre árvores, mas pode deteriorar o erro de generalização por excesso de viés.

Pausa Ativa 4: Resposta

V ou F: Resposta

✗ F: Reduzir \(m\) restringe a busca pelo corte ótimo, o que tende a aumentar ligeiramente o viés individual de cada árvore.
✔ V: Com \(m = p\), o atributo dominante vence a disputa em quase \(100\%\) das raízes das árvores bootstrap.
✔ V: Em \(m < p\), há probabilidade \((1 - m/p)\) de o atributo dominante não estar entre os sorteados, permitindo que outros atributos conduzam o corte.
✔ V: Com \(m = 1\), as divisões são cegas à capacidade preditiva, elevando o viés e a variância individual além do ponto ótimo.

Voltando à pergunta: No Bagging (\(m = 100\)), \(X_1\) será selecionado na raiz de praticamente todas as árvores, tornando as árvores extremamente correlacionadas (\(\rho \to 1\)) e anulando o ganho da agregação. Na Random Forest (\(m = 10\)), em cerca de \(90\%\) das divisões de raiz o biomarcador \(X_1\) não estará disponível no sorteio aleatório, forçando as árvores a explorarem sinais complementares nos outros 99 atributos e derrubando a correlação \(\rho\).

Bloco 3: Avaliação Out-of-Bag (OOB) e Importância de Atributos

Bootstrap: Dedução da Probabilidade \(1 - 1/e\)

Teorema do Limite OOB

\[\lim_{N \to \infty} P(\mathbf{z}_i \notin Z^*) = \lim_{N \to \infty} \left(1 - \frac{1}{N}\right)^N = \frac{1}{e} \approx 36{,}8\%\]

Passo 1 — Probabilidade de Não Sorteio Individual: Em cada extração com reposição de \(N\) dados: \[P(\text{não sortear } \mathbf{z}_i) = 1 - \frac{1}{N}\]

Passo 2 — Independência dos \(N\) Sorteios: \[P(\mathbf{z}_i \notin Z^*) = \left(1 - \frac{1}{N}\right)^N\]

Passo 3 — Limite Clássico do Cálculo: Pela definição fundamental da constante de Euler \(e = \lim_{n \to \infty} (1 + 1/n)^n\): \[\lim_{N \to \infty} \left(1 - \frac{1}{N}\right)^N = e^{-1} \approx 0{,}367879 \dots \approx 36{,}8\%\]

Consequência

Em média, \(36{,}8\%\) do conjunto de treino original nunca foi visto por cada árvore do ensemble!

O Estimador Out-of-Bag (OOB)

Predição OOB para o Ponto \(\mathbf{x}_i\)

\[\hat{f}_{\text{oob}}(\mathbf{x}_i) = \frac{1}{|\mathcal{B}_i|} \sum_{b \in \mathcal{B}_i} T_b(\mathbf{x}_i), \quad \text{onde } \mathcal{B}_i = \{b : \mathbf{z}_i \notin Z^{*b}\}\]

Propriedades Teóricas:
- Como cada árvore em \(\mathcal{B}_i\) não viu \(\mathbf{z}_i\), \(\hat{f}_{\text{oob}}(\mathbf{x}_i)\) é um estimador de teste honesto.
- O erro OOB converge assintoticamente para o erro de validação cruzada Leave-One-Out.

Vantagens Práticas:
- Zero Custo Adicional: Calculado durante o próprio treinamento das árvores.
- Elimina a necessidade de particionamento \(K\)-fold de CV para seleção de hiperparâmetros.

Importância de Atributos: Redução de Impureza (MDI) vs. Permutação OOB (MDA)

1. Mean Decrease Impurity (MDI):
- Soma da redução de impureza (Gini/MSE) em todos os nós onde a variável \(j\) realizou a divisão.
- Limitação Crítica: Fortemente enviesado em favor de variáveis contínuas ou de alta cardinalidade (muitas categorias).

2. Mean Decrease Accuracy (MDA / Permutation Importance):
- Embaralha aleatoriamente os valores da variável \(j\) nas amostras Out-of-Bag.
- Mede o salto no erro de validação: \[\text{MDA}(j) = \frac{1}{B} \sum_{b=1}^B \left(\text{Erro}(\tilde{Z}_j^{\text{oob}}) - \text{Erro}(Z^{\text{oob}})\right)\]
- Imparcial, realista e independente de cardinalidade.

Pausa 5: Validação OOB e Armadilhas de MDI vs. MDA

O Atributo com Ruído de Alta Cardinalidade

Você adiciona a uma base de dados um atributo espúrio ID_Cliente com \(2.000\) inteiros aleatórios únicos sorteados uniformemente (\(1\) a \(2.000\)), que não guarda qualquer relação causal com a variável resposta. Ao ajustar uma Random Forest, o gráfico de MDI posiciona o ID_Cliente entre os três atributos mais importantes da floresta, enquanto o MDA o posiciona rigorosamente com importância zero. Por que ocorre essa divergência e em qual das duas métricas o engenheiro deve confiar?

V ou F: Diagnóstico de Importância e OOB

Julgue V ou F — a questão só conta se acertar os 4 itens:

□ Em uma amostra bootstrap de tamanho \(N\) extraída com reposição, a fração esperada de dados originais que compõem a partição Out-of-Bag é de aproximadamente \(36{,}8\%\).
□ O erro calculado através das predições Out-of-Bag sofre de otimismo amostral (training optimism), subestimando o verdadeiro erro de generalização.
□ A métrica de importância MDI (Mean Decrease Impurity) pode inflacionar artificialmente a importância de variáveis numéricas ruidosas com muitos valores distintos.
□ A permutação de atributos no cálculo do MDA destrói a dependência estatística entre a variável permutada e o alvo \(Y\), revelando seu impacto causal na acurácia do modelo.

Pausa Ativa 5: Resposta

V ou F: Resposta

✔ V: Pela dedução assintótica \(\lim (1 - 1/N)^N = 1/e \approx 36{,}8\%\).
✗ F: O erro OOB avalia pontos que a árvore nunca viu, sendo uma estimativa não enviesada comparável ao Leave-One-Out CV.
✔ V: O MDI favorece variáveis com muitos pontos de corte, permitindo sobreajuste espúrio nos nós inferiores.
✔ V: O embaralhamento quebra a correlação \(P(X_j, Y)\) preservando a distribuição marginal de \(X_j\).

Voltando à pergunta: O engenheiro deve confiar estritamente no MDA. O MDI mede a queda de impureza dentro dos dados de treino: com \(2.000\) valores únicos, o algoritmo sempre consegue encontrar um ponto de corte que purifique artificialmente um nó inferior da árvore, acumulando redução espúria de impureza. No MDA, como a avaliação ocorre nas amostras Out-of-Bag (não vistas), embaralhar um ID aleatório não altera a qualidade da predição, revelando seu valor nulo.

Fechamento

Retomando as 5 Perguntas da Aula

Preservação de Viés: \(\mathbb{E}[\bar{T}] = \mathbb{E}[T]\) por linearidade; o ensemble não corrige incapacidade estrutural do modelo base.
Variância Correlacionada: \(\text{Var}(\bar{T}) = \rho \sigma^2 + \frac{1-\rho}{B}\sigma^2\).
Quebra de \(\rho\) em Random Forests: Subamostrar \(m \le p\) variáveis por nó impede o domínio hegemônico das variáveis fortes, derrubando \(\rho\).
Validação OOB: \(\lim_{N\to\infty}(1 - 1/N)^N = 1/e \approx 36{,}8\%\). Predição honesta sem conjunto de validação externo.
MDI vs. MDA: MDI tem viés de alta cardinalidade; MDA por permutação OOB é robusto e imparcial.

O Que Fica em Aberto: O Gargalo dos Modelos de Alto Viés

Onde o Bagging Falha

Modelos de alto viés (stumps rasos, modelos lineares rígidos).
As árvores são geradas de forma independente e paralela.
Nenhuma árvore aprende com as falhas ou resíduos das outras.

O Desafio:
- E se quisermos reduzir o viés de modelos muito simples?
- E se pudermos focar o poder de aprendizado sequencialmente onde o ensemble mais erra?

Ponte para a Aula 10: Gradient Boosting e Otimização no Espaço de Funções

Duas Filosofias Complementares de Ensemble

Aula 9 (Bagging e Random Forests):
- Alvo: Redução de Variância.
- Ponto de partida: Árvores profundas (baixo viés, alta variância).
- Paradigma: Paralelo, média de variáveis descorrelacionadas.
Aula 10 (Gradient Boosting):
- Alvo: Redução de Viés.
- Ponto de partida: Árvores rasas / stumps (alto viés, baixa variância).
- Paradigma: Sequencial, descida de gradiente no espaço de funções.

Exercícios Soluções