Transfer Learning
Technique reutilisant un modele entraine sur une tache pour l'appliquer a une tache differente mais liee.
Le transfer learning (apprentissage par transfert) est une technique ou un modele entraine sur une tache (souvent large et generique) est reutilise comme point de depart pour une tache differente mais liee.
Principe : 1. Pre-entrainement : entrainer un modele sur une grande quantite de donnees generales 2. Transfert : reutiliser les representations apprises 3. Adaptation : affiner (fine-tuner) le modele pour la tache cible
C'est exactement le principe derriere GPT et tous les LLM modernes :
- • Pre-entrainement sur internet (connaissance generale)
- • Fine-tuning pour suivre des instructions (chat)
- • Eventuellement fine-tuning supplementaire pour un domaine
Le transfer learning a revolutionne l'IA car il permet d'obtenir d'excellents resultats avec relativement peu de donnees specifiques, en tirant parti de representations deja apprises.