Las redes neuronales convolucionales (CNN) han logrado hitos extraordinarios en la última década, pero no han estado libres de problemas. A medida que los modelos crecían en profundidad, aparecían dos fenómenos adversos: el gradiente se desvanecía o explotaba y la precisión empezaba a saturarse o incluso a degradarse. Este problema de degradación implica que redes más profundas pueden obtener peores resultados que sus versiones menos profundas y no se debe a sobreajuste sino a dificultades de optimización.
La revolución de las conexiones residuales
En 2015, Kaiming He y sus colegas presentaron un marco de aprendizaje residual que cambió por completo la forma de entrenar redes profundas. En lugar de pedir a un grupo de capas que aprendan una función compleja , plantearon que esas capas aprendieran la diferencia entre la salida deseada y la entrada, es decir, una función residual , y combinaran el resultado con la entrada original mediante la fórmula H(x)=F(x)+x. Este planteamiento se implementa mediante atajos o “skip connections” que suman la entrada a la salida de varias capas sin añadir parámetros extra.
Estos atajos permiten que la información fluya directamente hacia delante y hacia atrás, evitando que el gradiente se desvanezca. Así, las conexiones residuales facilitan el entrenamiento de redes muy profundas y alivian el problema del gradiente desaparecido, ya que se basan en la idea de que es más fácil aprender pequeñas correcciones sobre una identidad que aprender una función completa.
¿Qué aportó ResNet?
Las redes residuales (ResNet) demostraron que podían alcanzar profundidades inéditas manteniendo o mejorando la precisión. El primer modelo ampliamente conocido, ResNet‑34, insertaba 16 bloques residuales en un diseño inspirado en VGG; seguía reglas sencillas de duplicar filtros cuando se reducía la resolución y reutilizar el número de filtros cuando la resolución era constante. La versión de 152 capas tenía menor complejidad que VGG y consiguió un 3,57 % de error top‑5 en ImageNet, obteniendo el primer puesto en el ILSVRC 2015. Además de ganar la clasificación, estas redes residuales también vencieron en detección, localización y segmentación en las competiciones de ImageNet y COCO.
ResNet no se limitó a una versión. Se crearon variantes como ResNet‑50, ResNet‑101 o ResNet‑152, que aumentaban la profundidad manteniendo el patrón de atajos. Los autores incluso propusieron una versión pre‑activada (con activaciones antes de la suma) que facilita aún más el entrenamiento. Al utilizar mapeos identidad en las conexiones skip y activación después de la suma, la red permite propagar las señales hacia delante y hacia atrás de forma directa, haciendo que modelos con 1001 capas en CIFAR‑10 sean más fáciles de entrenar y generen mejores resultados. Esta evolución demuestra que la profundidad, cuando se combina con atajos bien diseñados, es una dimensión todavía explotable.
Impacto y aplicaciones
Desde su aparición, ResNet se ha convertido en un pilar del aprendizaje profundo. Se ha aplicado con éxito en clasificación de imágenes, detección de objetos, segmentación semántica, reconocimiento facial y muchas otras tareas. Gracias a su facilidad de entrenamiento, ResNet se ha convertido en una base común para transfer learning y ha inspirado arquitecturas posteriores como Inception‑ResNet, ResNeXt, DenseNet e incluso influencias en modelos de procesamiento del lenguaje. La idea clave de “skip connections” se ha integrado en transformadores y otras redes modernas, demostrando su valor más allá de la visión por computador.
Como apasionado de la inteligencia artificial, no puedo resistirme a trazar un paralelismo entre ResNet y mi saga de novelas Máquinas y memorias. En mis libros, los personajes luchan por mantener sus recuerdos y su humanidad en un mundo dominado por máquinas. Del mismo modo que las conexiones residuales permiten que la información se propague sin perderse, los héroes de la saga buscan conservar su identidad en medio de la inmensa complejidad de la IA. Si te intrigan estas reflexiones, puedes visitar la tienda oficial de Máquinas y memorias y descubrir cómo se entrelazan la ficción y la tecnología.