Do Gradiente ao Backpropagation: A Matemática que Treina as Redes Neurais

Um perceptron multicamadas (MLP) é uma composição de funções: cada camada $l$ aplica uma transformação afim seguida de uma ativação não linear, $$z^{(l)}=W^{(l)}{a}^{(l-1)}+b^{(l)},a^{(l)}=\sigma (z^{(l)}).$$ "Treinar" a rede significa encontrar os pesos $W^{(l)}$ e vieses $b^{(l)}$ que minimizam uma função de perda $\mathcal{L}(\theta )$ medida sobre os dados — ou seja, treinamento é otimização.

O objeto central é o gradiente $\nabla \mathcal{L}(\theta )$: o vetor das derivadas parciais da perda em relação a cada um dos milhões (ou bilhões) de parâmetros. O gradiente descendente atualiza $${\theta }^{k+1}={\theta }^k-\alpha \nabla \mathcal{L}({\theta }^k),$$ exatamente como na teoria clássica. A questão prática é: como calcular esse gradiente de forma eficiente através de dezenas de camadas compostas?

A resposta é o backpropagation — que não é um truque heurístico, mas a regra da cadeia do cálculo multivariado aplicada com uma organização computacional inteligente. Como a rede é uma composição $f=f^{(L)}\circ \cdots \circ f^{(2)}\circ f^{(1)}$, a derivada da perda em relação aos parâmetros de uma camada envolve o produto das matrizes Jacobianas de todas as camadas posteriores.

A observação-chave é que esses produtos compartilham fatores: definindo o "erro" da camada $l$ como ${\delta }^{(l)}=\partial \mathcal{L}/\partial z^{(l)}$, obtém-se a recursão $${\delta }^{(l)}={\left(W^{(l+1)}\right)}^{\top }{\delta }^{(l+1)}\odot {\sigma }^{\prime }(z^{(l)}),$$ que propaga o erro da saída para a entrada em uma única passada reversa. Cada gradiente de peso sai então de $$\frac{\partial \mathcal{L}}{\partial W^{(l)}}={\delta }^{(l)}{\left(a^{(l-1)}\right)}^{\top }.$$ O custo total é da mesma ordem do custo de avaliar a rede — é isso que torna o treinamento viável.

Todo o deep learning contemporâneo — dos classificadores de imagem aos grandes modelos de linguagem — repousa sobre essa mesma estrutura: uma função de perda, um grafo de composições diferenciáveis e o cálculo do gradiente por diferenciação reversa. Frameworks como PyTorch e JAX são, em essência, motores de regra da cadeia (diferenciação automática) acoplados a variantes do gradiente descendente estocástico.

As dificuldades práticas também são fenômenos matemáticos identificáveis: gradientes que desaparecem são produtos de Jacobianas com normas menores que $1$ ao longo de muitas camadas; a não convexidade de $\mathcal{L}(\theta )$ explica a sensibilidade à inicialização; a escolha da taxa de aprendizado $\alpha$ reflete diretamente as constantes de suavidade $L$ da teoria clássica de convergência.

A conexão é, portanto, direta e profunda: cálculo multivariado fornece o gradiente, álgebra linear organiza as Jacobianas, e a teoria de otimização — incluindo os métodos estocásticos e de subgradiente — garante e explica a convergência. Quem domina essa cadeia não usa redes neurais como caixas-pretas: entende o mecanismo que move a IA moderna. É exatamente essa a trilha que percorremos nos nossos cursos.