Quando o Gradiente Não Existe: Métodos de Subgradiente em Otimização Não Suave

A teoria do gradiente descendente assume diferenciabilidade. Mas muitos dos problemas mais relevantes em ciência de dados envolvem funções que não são diferenciáveis em pontos cruciais: a norma ${\ell }_1$ usada no LASSO, $\Vert x{\Vert }_1={\sum }_i|x_i|$, não é diferenciável na origem; a hinge loss das SVMs, $\max \{0,1-y⟨w,x⟩\}$, tem um "canto"; e funções máximo de coleções de funções convexas aparecem em toda parte.

Para funções convexas, a saída é o conceito de subgradiente: um vetor $g\in {\mathbb{R}}^n$ é subgradiente de $f$ em $x$ se $$f(y)\ge f(x)+⟨g,y-x⟩\forall y\in {\mathbb{R}}^n.$$ Geometricamente, $g$ define um hiperplano suporte ao gráfico de $f$. Nos pontos de diferenciabilidade, o subgradiente é único e coincide com o gradiente; nos "cantos", existe um conjunto inteiro deles — o subdiferencial $\partial f(x)$.

O método de subgradiente itera $$x^{k+1}=x^k-{\alpha }_k{g}^k,g^k\in \partial f(x^k).$$ Apesar da semelhança formal com o gradiente descendente, o comportamento é diferente: a direção $-g^k$ pode não ser de descida, e o método não converge com passo constante. A teoria exige passos decrescentes, tipicamente satisfazendo $$\sum _{k=0}^{\infty }{\alpha }_k=\infty \text{e}\sum _{k=0}^{\infty }{\alpha }_k^2<\infty ,$$ a condição clássica que também aparece na análise do SGD.

Em problemas de grande porte, avaliar o subgradiente da função completa $f={\sum }_{i=1}^m{f}_i$ é caro. Surgem então os métodos incrementais e estocásticos, que a cada iteração usam apenas uma parcela $f_i$ da função objetivo — exatamente como o SGD percorre mini-batches. Variantes com médias de trajetórias (string-averaging) e componentes escolhidas por cadeias de Markov estendem essas ideias a cenários distribuídos e com restrições, com aplicações que vão da reconstrução de imagens tomográficas ao treinamento de modelos.

A mensagem central: o SGD que treina as redes neurais modernas é um caso particular de uma família de métodos cuja análise vem da otimização convexa não suave. Dominar essa teoria é entender, de verdade, por que o treinamento de modelos funciona.