Aula 8: Redução para Visualização — MDS e t-SNE

Aprendizado Não Supervisionado

Marcos M. Raimundo — Instituto de Computação, UNICAMP

2026-10-04

Revisão e Introdução

Revisão Cuidadosa: O Que a Aula 7 Deixou Pronto

O Paradigma da Reconstrução

PCA e PPCA (Aula 6): Projeção linear ótima que minimiza o erro médio \(\|\mathbf{x} - \tilde{\mathbf{x}}\|^2\).
Autoencoders e VAEs (Aula 7): Compressão em gargalos profundos não lineares com distribuição a priori \(p(\mathbf{z}) = \mathcal{N}(\mathbf{0}, \mathbf{I})\).

O objetivo anterior: Fidelidade de reconstrução global (\(\mathbf{z} \to \hat{\mathbf{x}} \approx \mathbf{x}\)) ou amostragem generativa.
O dilema desta aula: E se o objetivo for estritamente a visualização humana em 2D?

A Ruptura de Paradigma

Em 2 dimensões, é matematicamente impossível reconstruir 30 ou 784 variáveis sem perder a maior parte da informação. Se o critério for errar o mínimo nas distâncias globais, a estrutura de vizinhanças locais é completamente esmagada.

Ideia Central: Preservar Vizinhança \(\neq\) Preservar Distância

O Fenômeno de Concentração de Volume

Em \(\mathbb{R}^D\), o volume de uma esfera de raio \(r\) é proporcional a \(r^D\). Em \(\mathbb{R}^2\), é proporcional a \(r^2\).
Há “espaço de sobra” na alta dimensão para vizinhos múltiplos. Em 2D, falta área física para acomodá-los: surge o crowding problem.

MDS / PCA: Tentam manter distâncias euclidianas globais. Resultado: pontos distantes dominam a função de custo e esmagam os agrupamentos locais no centro.
t-SNE: Converte distâncias em probabilidades de vizinhança e introduz a cauda pesada de Student-\(t\) no mapa 2D.

O Efeito da Cauda Pesada

A cauda pesada permite empurrar aglomerados distantes para longe no plano, liberando o interior para revelar com extrema fidelidade quem é vizinho de quem.

Roteiro da Aula

O Dilema da Projeção 2D: Por que métodos globais colapsam e misturam agrupamentos no plano.
MDS e a Perda Stress: Tentativa de preservar distâncias métricas e o domínio das escalas longas.
Vizinhanças Probabilísticas (SNE): Conversão de distâncias em probabilidades gaussianas e a assimetria da divergência KL.
A Solução t-SNE (Student-\(t\)): A cauda pesada como alívio da pressão de confinamento e o balanço de forças.
Armadilhas de Interpretação e Cuidados Práticos: Perplexidade, distâncias espúrias entre clusters e ausência de projeção paramétrica.

Problema Motivador: O Esmagamento de Classes em 2D

O Teste Prático no MNIST (\(D=784 \to d=2\))

Projetar \(N=1.500\) dígitos em 2D sem supervisão por PCA, MDS e t-SNE.

PCA / MDS: As classes sobrepõem-se fortemente no centro. O critério global tenta acomodar todas as distâncias inter-dígitos e não sobra área no plano para separar os grupos.
t-SNE: Identifica e isola os 10 dígitos em aglomerados bem definidos.

Pausa Ativa 1: O Dilema da Projeção 2D

O Tetraedro no Plano

Se tivermos 4 pontos mutuamente equidistantes em \(\mathbb{R}^3\) (os vértices de um tetraedro regular tridimensional), é geometricamente possível posicioná-los em uma folha plana \(\mathbb{R}^2\) de modo que as 6 distâncias entre pares permaneçam exatamente iguais?

V ou F: Restrições Geométricas em Baixa Dimensão

Julgue V ou F — a questão só conta se acertar os 4 itens:

□ Em qualquer espaço euclidiano de dimensão \(d\), o número máximo de pontos mutuamente equidistantes é \(d+1\).
□ A PCA em 2 componentes preserva perfeitamente as distâncias de vizinhança local entre pontos próximos, pois maximiza a variância projetada.
□ Quando reduzimos a dimensionalidade de \(D\) para \(d \ll D\), a perda de informação geométrica é matematicamente inevitável a menos que os dados residam em uma variedade afim de dimensão \(\le d\).
□ O objetivo principal de algoritmos de visualização como t-SNE é permitir a reconstrução dos atributos originais \(\mathbf{x} \in \mathbb{R}^D\) a partir das coordenadas 2D \(\mathbf{y}\).

Pausa Ativa 1: Resposta

V ou F: Resposta

✔ V: Trata-se do simplex regular de dimensão \(d\) (em 1D são 2 pontos; em 2D, 3 de um triângulo equilátero; em 3D, 4 do tetraedro; em dimensão \(d\), \(d+1\)).
✗ F: A PCA busca dispersão global; ao projetar em 2D, pares distantes no espaço original em direções ortogonais aos eixos principais colapsam exatamente sobrepostos.
✔ V: Se a dimensão intrínseca dos dados for estritamente maior que \(d\), distâncias serão distorcidas ou haverá sobreposição forçada no plano.
✗ F: O objetivo do t-SNE é a exploração de vizinhanças locais; ele não é um modelo de reconstrução e não possui função decodificadora inversa.

Voltando à pergunta: No plano \(\mathbb{R}^2\), só cabem 3 pontos mutuamente equidistantes (um triângulo equilátero). O quarto ponto teria que ficar no baricentro, cuja distância aos vértices é \(1/\sqrt{3} \approx 0{,}58 \neq 1\). Em \(D\) dimensões, podemos ter \(D+1\) vizinhos equidistantes. É impossível manter todas as distâncias ao mesmo tempo em 2D; somos obrigados a escolher preservar a vizinhança local.

Bloco 1: Preservando Distâncias Métricas — MDS e a Perda Stress

MDS: Reconstruindo Mapas a Partir de Distâncias

A Pergunta Fundamental do MDS

Dada apenas uma tabela com as distâncias \(d_{ij}^{(X)} = \|\mathbf{x}_i - \mathbf{x}_j\|\) entre todos os pares de cidades (sem GPS nem latitude), como posicionar os pontos em uma folha plana 2D?

O Objetivo: Encontrar coordenadas \(\mathbf{y}_1, \dots, \mathbf{y}_N \in \mathbb{R}^2\) tais que: \[d_{ij}^{(Y)} = \|\mathbf{y}_i - \mathbf{y}_j\|_2 \approx d_{ij}^{(X)}\]

Duas Filosofias de Resolução

MDS Clássico (PCoA / Torgerson, 1952): Álgebra linear analítica (autovalores de produtos internos centrados). Coincide exatamente com a PCA se as distâncias forem euclidianas!
MDS Métrico (Kruskal, 1964): Otimização numérica direta da perda de distâncias (Stress).

O Critério de Stress de Kruskal (1964)

A Função de Custo Stress (Kruskal, 1964)

\[\text{Stress}(\mathbf{Y}) = \sqrt{ \frac{\sum_{i < j} \left( d_{ij}^{(X)} - \|\mathbf{y}_i - \mathbf{y}_j\| \right)^2}{\sum_{i < j} (d_{ij}^{(X)})^2} }\]

Otimização Numérica (SMACOF / De Leeuw, 1977): Como a distância envolve raízes quadradas não lineares, o Stress não tem inversa matricial; é resolvido por aproximações parabólicas iterativas sucessivas.

O Dilema da Projeção \(D \to 2\)

Em \(D=784\) (MNIST) ou \(D=30\), é geometricamente impossível que o Stress seja zero no plano. Onde o algoritmo decide concentrar o erro inevitável?

A Falha do Stress: A Tirania das Distâncias Longas

O Balanço Perverso de Penalidades Quadráticas

Comparação entre dois erros em um mesmo mapa 2D:

1. Erro Local (Vizinhos do mesmo grupo): \[d_{\text{real}} = 1{,}0 \quad \to \quad d_{\text{mapa}} = 2{,}0 \quad (\text{Erro Relativo: } \mathbf{100\%})\] \[\text{Penalidade no Stress: } (1{,}0 - 2{,}0)^2 = \mathbf{1{,}0}\] (A vizinhança local é destruída e o cluster se desfaz!)

2. Erro Global (Pontos de grupos opostos): \[d_{\text{real}} = 50{,}0 \quad \to \quad d_{\text{mapa}} = 48{,}0 \quad (\text{Erro Relativo: } \mathbf{4\%})\] \[\text{Penalidade no Stress: } (50{,}0 - 48{,}0)^2 = \mathbf{4{,}0}\] (O erro visual é imperceptível, mas custa 4× mais caro!)

O algoritmo prefere sacrificar a estrutura interna de um cluster em 100% para evitar um desvio de 4% entre pontos afastados!

O Efeito Combinatório

A Assimetria Combinatória dos Dados

Em qualquer dataset com múltiplos clusters, há muito mais pares distantes do que vizinhos locais:

Pares locais (intra-cluster): Apenas \(O(N \cdot k)\) termos.
Pares distantes (inter-cluster): Crescem com \(\mathbf{O(N^2)}\) termos!

No Experimento do MNIST (\(N=1.500\)): \[\text{Total de pares: } \frac{1500 \times 1499}{2} \approx \mathbf{1{,}12\text{ milhão de distâncias}}\]
- Pares do mesmo dígito: \(\approx 10\%\).
- Pares entre dígitos diferentes: mais de \(90\%\)!

O Sequestro do Gradiente

Mais de \(90\%\) do gradiente do Stress gasta sua força ajustando distâncias entre classes opostas. Os clusters individuais são esmagados no centro.

Tentativas Correção: Sammon e MDS Não-Métrico

As Correções Clássicas nos Softwares Estatísticos

Como a literatura tentou combater a tirania das distâncias longas?

1. Mapeamento de Sammon (Sammon, 1969): Ponderação inversa pela distância original: \[E_{\text{Sammon}} = \frac{1}{\sum d_{ij}^{(X)}} \sum_{i < j} \frac{(d_{ij}^{(X)} - d_{ij}^{(Y)})^2}{\mathbf{d_{ij}^{(X)}}}\]
- Distância \(d=1 \implies\) peso \(1{,}0\).
- Distância \(d=50 \implies\) peso \(0{,}02\) (reduzido em 50×!).

2. MDS Não-Métrico (Kruskal, 1964): Preserva apenas a ordem dos postos via regressão isotônica: \[\text{Se } d_{ij}^{(X)} < d_{kl}^{(X)} \implies d_{ij}^{(Y)} \le d_{kl}^{(Y)} \quad (\text{Diagrama de Shepard})\]

Por Que Abordagens Métricas Falham em 2D

Por Que as Correções Métricas Falham em 2D?

Duas limitações intrínsecas e incontornáveis:

1. Falta de Escala Local Adaptativa: O peso \(1/d\) trata distâncias absolutas igualmente, ignorando se o ponto está num núcleo ultra-denso ou numa periferia esparsa.
2. O Gargalo Físico do Plano (\(r^D \leftrightarrow r^2\)): Ainda tentam acomodar distâncias na área de um círculo 2D, que não tem “vagas” para a casca hiperdimensional.

A Ruptura Necessária: O Salto Probabilístico

Em vez de tentar preservar distâncias euclidianas numéricas rígidas, devemos modelar a probabilidade estocástica de vizinhança local com variâncias adaptativas (o SNE e o t-SNE!).

Pausa Ativa 2: MDS e o Critério de Stress

Erro Absoluto vs. Erro Relativo no MDS

Se um algoritmo de redução de dimensionalidade minimiza \(\sum_{i<j} (d_{ij}^{(X)} - d_{ij}^{(Y)})^2\), qual dos seguintes desvios gera maior aumento na função de custo? - (A) Uma distância entre vizinhos imediatos que era \(0{,}5\) e virou \(2{,}5\). - (B) Uma distância entre pontos de clusters distintos que era \(40{,}0\) e virou \(37{,}0\).

V ou F: Propriedades do MDS

Julgue V ou F — a questão só conta se acertar os 4 itens:

□ O MDS clássico com centralização dupla aplicado sobre matriz de distâncias euclidianas fornece resultados idênticos aos scores da PCA linear.
□ Na função Stress quadrática, errar uma distância de \(100\) para \(90\) gera exatamente a mesma penalidade numérica que errar uma distância de \(11\) para \(1\).
□ O MDS requer obrigatoriamente as coordenadas originais \(\mathbf{X}\); ele não pode ser computado se recebermos apenas uma tabela de dissimilaridades arbitrárias entre indivíduos.
□ A função de custo do MDS prioriza a preservação de pequenas distâncias de vizinhança local em detrimento de distâncias de longa escala.

Pausa Ativa 2: Resposta

V ou F: Resposta

✔ V: Pelo teorema de Young-Householder-Torgerson, a centralização dupla da matriz de produtos internos e sua decomposição espectral recuperam a PCA.
✔ V: Em ambos os casos, \(|100-90| = 10\) e \(|11-1| = 10\). Ao quadrado, ambos contribuem com \((10)^2 = 100\), ignorando o fato de que um erro de \(10\) destrói uma vizinhança de tamanho \(1\).
✗ F: O MDS opera diretamente sobre a matriz de dissimilaridades \(D_{N \times N}\), sem requerer as coordenadas brutas no espaço original.
✗ F: É o inverso: os termos quadráticos associados a distâncias grandes dominam a soma, sacrificando as vizinhanças locais.

Voltando à pergunta: O caso (B) gera \((40 - 37)^2 = 9{,}0\), enquanto o caso (A) gera \((0{,}5 - 2{,}5)^2 = 4{,}0\). O algoritmo prefere tolerar que dois vizinhos se afastem em 400% do que permitir uma variação de 7,5% em pontos distantes.

Bloco 2: Vizinhanças Probabilísticas — SNE e Divergência KL

O Salto Conceitual do SNE: De Distâncias Métricas a Probabilidades

De Distância Rígida para Probabilidade de Vizinhança (Hinton & Roweis, 2002)

Em vez de fixar \(d_{ij} \in \mathbb{R}\), calculamos a probabilidade de \(\mathbf{x}_i\) escolher \(\mathbf{x}_j\) como vizinho: \[p_{j|i} = \frac{\exp(-\|\mathbf{x}_i - \mathbf{x}_j\|^2 / 2\sigma_i^2)}{\sum_{k \ne i} \exp(-\|\mathbf{x}_i - \mathbf{x}_k\|^2 / 2\sigma_i^2)}, \quad p_{i|i} = 0\]

Propriedade fundamental: A função exponencial decai tão rapidamente que pontos moderadamente distantes têm \(p_{j|i} \approx 0\).
Consequência: O modelo ignora distâncias absolutas entre pontos afastados; apenas os vizinhos próximos competem por probabilidade.

Calibração Local: O Hiperparâmetro Perplexidade

O Dilema do \(\sigma\): Densidade Heterogênea

O impasse: Um \(\sigma\) global único satura regiões densas e isola pontos esparsos.
A inviabilidade: Escolher \(N\) sigmas manuais (\(\sigma_1, \dots, \sigma_N\)) no escuro é impossível.

A Solução: Inverter a Lógica

Em vez de chutar desvios padrões \(\sigma_i\), o usuário estipula o número desejado de vizinhos: \[\text{Perp}(P_i) = 2^{H(P_i)}, \quad H(P_i) = -\sum_{j \ne i} p_{j|i} \log_2 p_{j|i}\]

Para uma distribuição uniforme sobre \(K\) vizinhos: \(\text{Perp}(P_i) = 2^{\log_2 K} = \mathbf{K}\).
Interpretação: A Perplexidade é literalmente o número efetivo de vizinhos que cada ponto tenta manter.
Busca binária automática: Como \(\sigma_i \mapsto \text{Perp}(P_i)\) é estritamente crescente, o algoritmo calibra o \(\sigma_i\) ideal de cada ponto automaticamente.

Simetrização e a Função de Custo: Divergência KL

O Objetivo Fundamental da Otimização

Temos duas distribuições sobre as relações entre os dados:

\(P\) (Espaço Original): As afinidades reais entre vizinhos em \(\mathbb{R}^D\).
\(Q(\mathbf{Y})\) (Mapa 2D): As afinidades propostas pelas coordenadas \(\mathbf{y}_1, \dots, \mathbf{y}_N\).
Meta: Mover \(\mathbf{Y}\) até que a distribuição \(Q\) se ajuste perfeitamente à distribuição \(P\).

Por Que Divergência KL e Simetrização?

\[p_{ij} = \frac{p_{j|i} + p_{i|j}}{2N}, \quad C(\mathbf{Y}) = \mathrm{KL}(P \parallel Q) = \sum_{i \ne j} p_{ij} \ln \frac{p_{ij}}{q_{ij}(\mathbf{Y})}\]

Divergência KL: Mede a ineficiência estatística de representar \(P\) através de \(Q\).
Simetrização: Garante \(\sum p_{ij} = 1\), neutraliza outliers desestabilizadores e gera um gradiente computacionalmente limpo.

KL: Falso Afastamento vs. Falsa Aproximação

O Mecanismo da KL: \(p_{ij} \ln(p_{ij} / q_{ij})\)

Caso 1: Falso Afastamento (\(p_{ij}\) alto, \(q_{ij}\) baixo):
- Dois vizinhos na alta dimensão colocados longe no mapa 2D.
- Penalidade: \(0{,}10 \times \ln(1000) \approx \mathbf{+0{,}69}\) \(\longrightarrow\) Custo astronômico!
Caso 2: Falsa Aproximação (\(p_{ij} \approx 0\), \(q_{ij}\) alto):
- Dois pontos distantes colocados juntos no mapa 2D.
- Penalidade: \(10^{-6} \times \ln(10^{-6} / 0{,}05) \approx \mathbf{0}\) \(\longrightarrow\) Penalidade nula!

Efeito Prático

O SNE foca 100% de sua energia em não separar vizinhos. Ele não se importa com a distância exata entre clusters distantes.

Pausa Ativa 3: Vizinhanças Probabilísticas e KL

O Comportamento da Divergência KL

Por que a formulação \(\mathrm{KL}(P \parallel Q)\) tolera que dois clusters não relacionados se aproximem no mapa 2D, mas proíbe terminantemente que um cluster homogêneo seja partido ao meio? O que mudaria se minimizássemos a divergência inversa \(\mathrm{KL}(Q \parallel P)\)?

Dica para discussão: Analise o fator que multiplica o logaritmo em cada caso quando \(p_{ij}=0\) ou \(q_{ij}=0\).

V ou F: SNE e Perplexidade

Julgue V ou F — a questão só conta se acertar os 4 itens:

□ A variância \(\sigma_i^2\) do kernel gaussiano de cada ponto \(\mathbf{x}_i\) no SNE é única e universal para todas as amostras do conjunto de dados.
□ Em regiões de alta densidade de dados, o valor de \(\sigma_i\) encontrado pelo algoritmo para uma dada perplexidade fixa será menor do que em regiões esparsas.
□ A divergência \(\mathrm{KL}(P \parallel Q)\) penaliza com o mesmo rigor o erro de afastar vizinhos e o erro de aproximar pontos distantes.
□ A Perplexidade pode ser interpretada operacionalmente como o número efetivo de vizinhos próximos que cada ponto tenta manter em sua vizinhança probabilística.

Pausa Ativa 3: Resposta

V ou F: Resposta

✗ F: \(\sigma_i\) é calibrado individualmente para cada ponto via busca binária sobre a entropia da distribuição condicional.
✔ V: Em regiões densas, uma vizinhança geométrica estreita já acumula a entropia estipulada pela perplexidade.
✗ F: A KL é assimétrica; o erro de afastar vizinhos (\(p_{ij}\) alto, \(q_{ij}\) baixo) gera penalidade enorme, enquanto aproximar distantes (\(p_{ij} \approx 0\)) tem custo quase nulo.
✔ V: Por ser \(2^{H(P_i)}\), para uma distribuição uniforme sobre \(K\) vizinhos a perplexidade é exatamente \(K\).

Voltando à pergunta: Quando \(p_{ij} \approx 0\) (pontos de clusters diferentes), o termo \(p_{ij} \ln(p_{ij}/q_{ij})\) zera, não importando o valor de \(q_{ij}\). Já se minimizássemos \(\mathrm{KL}(Q \parallel P) = \sum q_{ij} \ln(q_{ij}/p_{ij})\), o algoritmo sofreria custo infinito se \(q_{ij} > 0\) e \(p_{ij} = 0\), tornando-se obsessivo em afastar pontos mesmo à custa de espalhar vizinhos.

Bloco 3: A Solução da Cauda Pesada — t-SNE

Como a Gaussiana Chega ao SNE: O Modelo de Difusão e Vizinhança

Por Que a Gaussiana no Espaço de Alta Dimensão (\(\mathbb{R}^D\))?

Máxima Entropia (Jaynes): Fixadas média \(\mathbf{x}_i\) e variância \(\sigma_i^2 \mathbf{I}\), a normal multivariada é a distribuição única que maximiza a entropia, minimizando pressuposições sobre a geometria.
Difusão Isotrópica: Probabilidade de transição browniana atingir \(\mathbf{x}_j\) a partir de \(\mathbf{x}_i\): \[p_{j|i} = \frac{\exp(-\|\mathbf{x}_i - \mathbf{x}_j\|^2 / 2\sigma_i^2)}{\sum_{k \ne i} \exp(-\|\mathbf{x}_i - \mathbf{x}_k\|^2 / 2\sigma_i^2)}, \quad p_{ij} = \frac{p_{j|i} + p_{i|j}}{2N}\]

Por Que \(2\sigma^2 = 1\) no Mapa 2D (\(\mathbb{R}^2\))?

No SNE original, adotou-se o mesmo modelo gaussiano no mapa: \[q_{ij} \propto \exp(-\|\mathbf{y}_i - \mathbf{y}_j\|^2 / 2\sigma^2)\] - As coordenadas \(\mathbf{y}_i\) são variáveis livres da otimização. - Mudar \(\sigma\) equivale meramente a reescalar globalmente o mapa 2D (invariância de escala). - Fixar \(2\sigma^2 = 1\) simplifica a fórmula sem qualquer perda de generalidade.

O Gargalo do SNE Gaussiano: A Cauda Leve e o Colapso Central

O Decaimento Superexponencial da Gaussiana \(\exp(-d^2)\)

Distância \(d\)	Afinidade \(\exp(-d^2)\)	Comportamento
\(d = 1\)	\(\approx 0{,}368\)	Vizinho próximo
\(d = 2\)	\(\approx 0{,}018\)	Decréscimo acentuado
\(d = 3\)	\(\approx 1{,}2 \times 10^{-4}\)	Quase desprezível
\(d = 4\)	\(\approx 1{,}1 \times 10^{-7}\)	Praticamente zero absoluto

A Armadilha na Perda KL

Se pares intermediários (\(p_{ij} \approx 0{,}01\)) ficarem a \(d=4\), \(q_{ij} \approx 10^{-7}\), explodindo o custo: \[p_{ij} \ln\frac{p_{ij}}{q_{ij}} = 0{,}01 \times \ln(10^5) \approx \mathbf{+0{,}115 \text{ por par!}}\]
Para evitar a penalidade, o otimizador força todos os pontos para \(d \le 2\).

O Colapso em 2D

O disco de raio 2 tem área \(\pi(2)^2 \approx 12{,}6\). Não há espaço para acomodar dezenas de clusters: todos colapsam em uma massa central única.

t-SNE: Da Distribuição Student-\(t\) ao Kernel de Cauchy

1. A Densidade Student-\(t\) com \(\nu=1\) (Cauchy)

\[f(t; \nu=1) = \frac{\Gamma(1)}{\sqrt{\pi}\,\Gamma(1/2)} \left(1 + t^2\right)^{-1} = \frac{1}{\pi(1 + t^2)} \propto \mathbf{\frac{1}{1 + t^2}}\]

2. Similaridade entre Pontos 2D

Substituindo \(t\) pela distância euclidiana \(\|\mathbf{y}_i - \mathbf{y}_j\|\): \[k(\mathbf{y}_i, \mathbf{y}_j) = \frac{1}{1 + \|\mathbf{y}_i - \mathbf{y}_j\|^2} = (1 + \|\mathbf{y}_i - \mathbf{y}_j\|^2)^{-1}\]

3. Probabilidade Conjunta Normalizada \(q_{ij}\)

\[q_{ij} = \frac{(1 + \|\mathbf{y}_i - \mathbf{y}_j\|^2)^{-1}}{\sum_{k \ne l} (1 + \|\mathbf{y}_k - \mathbf{y}_l\|^2)^{-1}}, \quad q_{ii} = 0\]

O Mecanismo da Cauda Pesada: Aliviando o Crowding

Gaussiana vs. Student-\(t\): O Contraste das Caudas

Gaussiana: decai com \(\exp(-d^2)\) \(\longrightarrow\) cauda ultra-rápida (sufoca distâncias médias).
Student-\(t\) (\(\nu=1\)): decai com \(1/d^2\) \(\longrightarrow\) cauda pesada (lei de potência).

Para gerar uma probabilidade pequena \(q_{ij} = 0{,}01\):
- Na Gaussiana, \(d\) precisa ser pequeno (\(d \approx 2{,}1\)).
- Na Student-\(t\), \(d\) pode ser muito maior (\(d \approx 10{,}0\)).

O Efeito no Mapa 2D

Clusters não correlacionados são empurrados para a periferia sem penalidade, liberando o interior do mapa para acomodar os detalhes locais.

A Função Objetivo Global do t-SNE

O Problema de Otimização Contínua

\[\min_{\mathbf{Y} \in \mathbb{R}^{N \times 2}} C(\mathbf{Y}) = \mathrm{KL}(P \parallel Q) = \sum_{i \ne j} p_{ij} \ln \left( \frac{p_{ij}}{q_{ij}(\mathbf{Y})} \right)\]

\(p_{ij}\) (Constantes fixas): Dependem apenas dos dados originais e da perplexidade.
\(q_{ij}(\mathbf{Y})\) (Variáveis de decisão): Dependem das posições projetadas \(\mathbf{y}_1, \dots, \mathbf{y}_N\).

Decomposição em Entropia Cruzada

\[C(\mathbf{Y}) = \underbrace{\sum_{i \ne j} p_{ij} \ln p_{ij}}_{-H(P) \text{ (constante)}} - \sum_{i \ne j} p_{ij} \ln q_{ij}(\mathbf{Y})\] Minimizar \(C(\mathbf{Y})\) é exatamente maximizar a probabilidade de vizinhança \(\sum p_{ij} \ln q_{ij}(\mathbf{Y})\).

O Gradiente da Perda: Atração por Mola e Repulsão Global

Equação Fundamental do Gradiente (van der Maaten & Hinton, 2008)

\[\frac{\partial C}{\partial \mathbf{y}_i} = 4 \sum_{j \ne i} \underbrace{(p_{ij} - q_{ij})}_{\text{desbalanço}} \underbrace{(1 + \|\mathbf{y}_i - \mathbf{y}_j\|^2)^{-1}}_{\text{amortecimento}} (\mathbf{y}_i - \mathbf{y}_j)\]

Se \(p_{ij} > q_{ij}\) (Atração): Atua como uma mola elástica puxando os vizinhos verdadeiros para perto.
Se \(q_{ij} > p_{ij}\) (Repulsão): Atua como repulsão eletrostática empurrando pontos não correlacionados para longe.

O Equilíbrio Físico

O mapa final estabiliza quando a atração local dos verdadeiros vizinhos cancela exatamente a pressão de repulsão do restante do conjunto.

Pausa Ativa 4: O “Crowding Problem” e Student-\(t\)

Por Que a Student-\(t\) Alivia o Confinamento?

Se a probabilidade \(p_{ij}\) calculada no espaço de alta dimensão vale \(0{,}01\), explique por que a distância euclidiana \(\|\mathbf{y}_i - \mathbf{y}_j\|\) necessária para igualar \(q_{ij} = 0{,}01\) é muito maior sob a curva da Student-\(t\) do que sob uma curva gaussiana no mapa 2D. O que acontece com os clusters no mapa como consequência disso?

Dica para discussão: Compare a inclinação e a altura da cauda das duas funções para distâncias moderadas no gráfico anterior.

V ou F: t-SNE e o Kernel de Cauchy

Julgue V ou F — a questão só conta se acertar os 4 itens:

□ A distribuição \(t\)-Student com 1 grau de liberdade coincide matematicamente com a distribuição de Cauchy padrão.
□ Para distâncias \(d = \|\mathbf{y}_i - \mathbf{y}_j\| \gg 1\), a probabilidade não normalizada sob o kernel do t-SNE decai com \(1/d^2\), enquanto sob a Gaussiana ela decai com \(\exp(-d^2)\).
□ O t-SNE utiliza a distribuição \(t\)-Student tanto no espaço original de alta dimensão (\(p_{ij}\)) quanto no mapa 2D (\(q_{ij}\)).
□ O gradiente do t-SNE pode ser fisicamente interpretado como forças de atração ao longo de vizinhanças e forças de repulsão entre todos os pares de pontos.

Pausa Ativa 4: Resposta

V ou F: Resposta

✔ V: A função densidade da \(t\)-Student com \(\nu=1\) é \(f(t) \propto (1 + t^2)^{-1}\), que é exatamente a distribuição de Cauchy.
✔ V: \((1 + d^2)^{-1} \approx d^{-2}\) para \(d\) grande, caracterizando cauda pesada de lei de potência.
✗ F: O t-SNE usa a Gaussiana na alta dimensão (\(P\)) e a \(t\)-Student apenas no espaço de projeção de baixa dimensão (\(Q\)).
✔ V: O gradiente decompõe-se exatamente em atração quando \(p_{ij} > q_{ij}\) e repulsão quando \(q_{ij} > p_{ij}\).

Voltando à pergunta: Como a Student-\(t\) tem cauda pesada, para atingir uma probabilidade moderada como \(0{,}01\) o valor de \(d\) pode ser consideravelmente maior do que na Gaussiana (onde a curva despenca rapidamente para zero). Isso permite que clusters diferentes fiquem afastados no mapa 2D sem sofrer penalidade na divergência KL, liberando espaço central.

Bloco 4: Cuidados Práticos e as 4 Armadilhas de Interpretação

A Calibração Prática e o Impacto da Perplexidade

O Espectro de Granularidade

Perp muito baixa (\(\le 5\)): Cada ponto só enxerga seus vizinhos imediatos. Clusters reais quebram-se em dezenas de pequenas ilhas artificiais.
Perp ideal (\(30\) a \(50\)): Equilíbrio entre microestrutura local e macroestrutura de grupos.
Perp muito alta (\(\to N\)): A vizinhança torna-se global e uniforme. O t-SNE perde sensibilidade local e converge para uma nuvem indiferenciada.

As 4 Falácias Clássicas de Interpretação do t-SNE

1. Distâncias entre clusters NÃO medem distâncias reais

Quando \(p_{ij} \approx 0\), não há força de atração entre os grupos. A distância inter-cluster no mapa é mero artefato da repulsão no plano e da inicialização.

2. Tamanho visual NÃO reflete densidade ou variância

Como \(\sigma_i\) se adapta localmente via perplexidade, clusters densos são “inflados” e clusters esparsos são “comprimidos” no mapa.

3. t-SNE pode encontrar clusters em RUÍDO PURO

Flutuações estocásticas em amostras finitas podem ser organizadas em ilhas aparentes. Nunca conclua existência de clusters apenas olhando o t-SNE.

4. NÃO é um modelo preditivo paramétrico

Não existe função \(\mathbf{y} = f(\mathbf{x})\). Não é possível projetar um ponto novo de teste sem reotimizar todo o conjunto.

Pausa Ativa 5: As 4 Armadilhas de Interpretação do t-SNE

Diagnóstico de Interpretação

Um bioinformata executa o t-SNE sobre dados de expressão gênica e observa que o “Cluster A” tem um diâmetro visual de \(5\text{ cm}\) e o “Cluster B” tem um diâmetro de apenas \(1\text{ cm}\). Além disso, a distância entre os centros dos dois clusters no gráfico é de \(15\text{ cm}\).

V ou F: Armadilhas do t-SNE

Julgue V ou F — a questão só conta se acertar os 4 itens:

□ Executar o t-SNE com perplexidade excessivamente baixa tende a quebrar clusters reais contínuos em múltiplos subaglomerados artificiais desconectados.
□ Dado um novo ponto de teste \(\mathbf{x}_{\text{novo}} \in \mathbb{R}^D\), podemos determinar sua posição \(\mathbf{y}_{\text{novo}} \in \mathbb{R}^2\) aplicando diretamente uma matriz de pesos ou fórmula analítica aprendida pelo t-SNE padrão.
□ Ao aplicar o t-SNE sobre dados gerados por uma distribuição uniforme homogênea sem nenhuma estrutura de agrupamento, é garantido que o mapa 2D jamais formará ilhas ou falsos aglomerados.
□ Múltiplas execuções do t-SNE com diferentes sementes aleatórias podem produzir mapas rotacionados ou com posições relativas de clusters diferentes, preservando ainda assim as vizinhanças locais.

Pausa Ativa 5: Resposta

V ou F: Resposta

✔ V: Com perplexidade muito baixa, cada ponto só tenta acomodar seus 1 ou 2 vizinhos imediatos, quebrando a variedade contínua.
✗ F: O t-SNE clássico é não paramétrico; ele não aprende uma função de mapeamento indutivo \(\mathbb{R}^D \to \mathbb{R}^2\).
✗ F: Flutuações aleatórias em amostras finitas de ruído puro podem ser organizadas pelo t-SNE em agrupamentos visuais enganosos.
✔ V: A função de custo da divergência KL é altamente não convexa e invariante a rotações e translações globais.

Voltando à pergunta: Ambas as conclusões são falácias clássicas. A área do cluster no mapa reflete a adaptação local de \(\sigma_i\) via perplexidade (não a variância genética), e a distância de \(15\text{ cm}\) entre os clusters reflete apenas a repulsão eletrostática no plano após \(p_{ij}\) anular-se (não a distância filogenética real).

Fechamento

Retomando as 5 Perguntas da Aula

Dilema da Projeção 2D: Impossibilidade geométrica de preservar distâncias globais e locais no plano.
Viés do Stress (MDS): Distâncias longas dominam a soma quadrática e esmagam vizinhanças locais.
SNE e Divergência KL: Modelagem probabilística onde afastar vizinhos custa caro e aproximar distantes custa quase zero.
Student-\(t\) no t-SNE: Cauda pesada empurra aglomerados distantes para a periferia e abre espaço para a microestrutura.
Armadilhas do t-SNE: Distâncias inter-cluster espúrias, áreas distorcidas, alucinação em ruído e ausência de fórmula paramétrica.

O Que Fica em Aberto e Limitações do t-SNE

Limitações do t-SNE

Escalabilidade \(O(N^2)\): Exige aproximações como Barnes-Hut (\(O(N \log N)\)) ou FIt-SNE para grandes volumes de dados.
Perda da Estrutura Global: As relações macroscópicas entre aglomerados distantes são embaralhadas.

Alternativas modernas: O UMAP (McInnes et al., 2018) busca conciliar a preservação de vizinhança local com continuidade global através de geometria simplética e fuzzy.

Ponte para a Parte 3: Aula 9

O Que Vem a Seguir

Encerramento da Parte 2: Exploramos PCA, PPCA, Autoencoders, VAEs e t-SNE.
Início da Parte 3: Descoberta de estruturas e padrões em larga escala sem supervisão.

Aula 9: Modelos Gráficos Probabilísticos (PGMs) e Mineração de Itens Frequentes.
Como transformar regras de associação empíricas em grafos probabilísticos direcionados e isolar variáveis de confusão latentes.

Exercícios Soluções