Transfer Learning ist eine Technik im maschinellen Lernen, bei der Modelle, die auf einer bestimmten Aufgabe trainiert wurden, auf eine neue, verwandte Aufgabe (eventuell mit kleinen Anpassungen) angewandt werden^[1]. Dieser Ansatz ermöglicht es, das Wissen, das ein Modell auf einer Aufgabe erworben hat, zu nutzen, um die Leistung auf einer anderen Aufgabe zu verbessern, insbesondere wenn anfangs wenig Daten für eine Aufgabe vorliegen (small data).

Da beim Transfer Learning mehrere Ziele betrachtet werden, ist es mit der Mehrzieloptimierung verwandt.

Transfer Learning kann als Regularisierungstechnik betrachtet werden und verbessert die Generalisierungsfähigkeiten von Modellen und ermöglicht eine effizientere Nutzung von Ressourcen. Transfer Learning hat in verschiedenen Bereichen wie Computer Vision, natürlicher Sprachverarbeitung und anderen Anwendungen des maschinellen Lernens erhebliche Fortschritte ermöglicht.

Während Transfer Learning den (sequentiellen) Transfer von Wissen von einer Aufgabe (Task) auf eine andere betrachtet, werden beim Multi-Task Learning simultan mehrere Aufgaben trainiert^[2].

1. ↑ Yang, Q., Zhang, Y., Dai, W., Pan, S. J. (2020). Transfer Learning. USA: Cambridge University Press.
2. ↑ Yu, Tianhe et al. "Gradient surgery for multi-task learning." Advances in Neural Information Processing Systems 33 (2020): 5824-5836. https://arxiv.org/pdf/2001.06782.pdf