Distillation de modèle
Aussi appelé : Model Distillation · model-distillation · distillation de connaissances · knowledge distillation
Mis à jour le
La distillation de modèle est une technique consistant à entraîner un petit modèle d'IA (l'élève) à reproduire les performances d'un modèle beaucoup plus large et complexe (le maître).
📖 Définition
💬 En termes simples
C'est comme un maître brasseur québécois qui transmet des décennies d'expertise à un apprenti en lui enseignant non pas toute la théorie de la chimie, mais les décisions clés et les jugements essentiels. L'apprenti n'a pas besoin de tout savoir; il a besoin de ce qui compte vraiment, condensé de manière efficace.
🎯 Exemple concret
Une entreprise de domotique québécoise distille un grand modèle de reconnaissance vocale pour ses thermostats intelligents. Un développeur de Montréal compresse un modèle de traduction pour fonctionner hors ligne sur les téléphones de touristes. Un hôpital du Saguenay déploie un modèle distillé de radiologie sur ses équipements existants.
💡 Le saviez-vous ?
La technique a été formalisée par Geoffrey Hinton, lauréat du prix Nobel de physique 2024, dans un article de 2015. Certains modèles distillés conservent jusqu'à 97 % de la performance tout en étant 10 à 60 fois plus petits.
❓ Questions fréquentes
Pourquoi voudrait-on un modèle « élève » moins puissant ?
Comment se passe concrètement cet entraînement ?
Qu'est-ce qu'on sacrifie lors de la distillation ?
📚 Sources
- ArXiv - Distilling the Knowledge in a Neural Network (Geoffrey Hinton et al., 2015)
- Wikipedia - Knowledge distillation (Wikipedia, 2024)
🔗 Termes liés
🌿 Sous-termes