Gradiente Descendente: A Teoria Básica por Trás do Método Mais Importante da Otimização

Considere o problema de minimizar uma função $f:{\mathbb{R}}^n\to \mathbb{R}$ diferenciável. A pergunta central da otimização de primeira ordem é simples: estando em um ponto $x$, para qual direção devemos caminhar para reduzir o valor de $f$ o mais rapidamente possível?

A resposta vem da derivada direcional. Para uma direção unitária $d$, a taxa de variação de $f$ em $x$ ao longo de $d$ é dada pelo produto interno $⟨\nabla f(x),d⟩$. Pela desigualdade de Cauchy-Schwarz, esse produto é minimizado quando $d$ aponta exatamente no sentido oposto ao gradiente: $$d=-\frac{\nabla f(x)}{\Vert \nabla f(x)\Vert }.$$ Essa é a justificativa rigorosa para o nome "direção de máxima descida".

O método do gradiente é a iteração $$x^{k+1}=x^k-{\alpha }_k\nabla f(x^k),{\alpha }_k>0,$$ onde ${\alpha }_k$ é o tamanho do passo (em machine learning, a "taxa de aprendizado"). A escolha de ${\alpha }_k$ é o ponto delicado: um passo grande demais pode fazer o valor de $f$ aumentar; um passo pequeno demais torna o progresso lento.

A análise clássica assume que o gradiente de $f$ é Lipschitz-contínuo com constante $L>0$, isto é, $$\Vert \nabla f(x)-\nabla f(y)\Vert \le L\Vert x-y\Vert \forall x,y\in {\mathbb{R}}^n.$$ Sob essa hipótese, vale a desigualdade de descida: $$f(y)\le f(x)+⟨\nabla f(x),y-x⟩+\frac{L}{2}\Vert y-x{\Vert }^2.$$ Ela diz que $f$ é majorada por uma quadrática, e minimizar essa quadrática ao longo da direção do gradiente sugere o passo constante $\alpha =1/L$, que garante decréscimo a cada iteração.

Com $\alpha =1/L$, mostra-se que $\Vert \nabla f(x^k)\Vert \to 0$ — todo ponto de acumulação da sequência é um ponto estacionário. Para funções convexas, obtém-se mais: o erro $f(x^k)-f^{\ast }$ decresce à taxa $O(1/k)$. Se $f$ for fortemente convexa com parâmetro $\mu >0$, a convergência passa a ser linear (geométrica), com fator que depende do número de condição $\kappa =L/\mu$.

Essas taxas explicam fenômenos práticos importantes. Problemas mal condicionados ($\kappa \gg 1$) produzem as trajetórias em zigue-zague que qualquer pessoa que já treinou um modelo conhece bem. E quando $f$ não é diferenciável — como em problemas com regularização ${\ell }_1$ — o gradiente dá lugar ao subgradiente, e os métodos de subgradiente exigem passos decrescentes e têm taxas mais lentas, tema central de parte da pesquisa científica em otimização não suave, incluindo métodos incrementais e estocásticos usados em problemas de grande porte, como a reconstrução de imagens tomográficas.

Entender essa teoria não é luxo acadêmico: é ela que informa por que taxas de aprendizado precisam ser ajustadas, por que normalizar dados acelera o treinamento e por que métodos adaptativos foram inventados. Nos nossos cursos, essa cadeia — derivada, Taylor, convergência — é construída passo a passo no quadro, com implementação em Python ao lado.