Knowledge Distillation
Aussi appelé : Distillation de connaissances · Model Distillation · Teacher-Student Learning · Knowledge Transfer
Mis à jour le
La distillation de connaissances est un processus où un petit modèle d'IA apprend à imiter les performances d'un modèle plus grand, devenant ainsi plus rapide et efficace.
📖 Définition
💬 En termes simples
C'est comme un maître cuisinier qui transmet non seulement la recette, mais aussi le goût subtil qu'il perçoit — l'apprenti reproduit l'essence, pas juste les ingrédients.
🎯 Exemple concret
Vous travaillez sur une application mobile pour les producteurs maraîchers de l'Île d'Orléans et vous utilisez la distillation de connaissances pour créer une IA légère. Vous demandez à un modèle géant de transférer son expertise sur les maladies des plantes vers un modèle beaucoup plus petit. Ce « petit » modèle est alors capable d'identifier les parasites directement sur le téléphone des agriculteurs, même sans connexion internet dans les champs. Vous offrez un outil de diagnostic rapide et précis qui respecte les contraintes techniques du terrain. Vous rendez l'intelligence accessible là où elle est le plus nécessaire.
💡 Le saviez-vous ?
La distillation de connaissances a été popularisée par Geoffrey Hinton, l'un des « parrains » de l'IA moderne, en 2015. Selon des recherches récentes de Google (2024), un modèle « élève » peut parfois surpasser son « maître » sur des tâches spécifiques s'il est entraîné avec soin. C'est cette technique qui permet à des modèles comme Phi-3 de Microsoft d'être aussi performants malgré leur petite taille.
❓ Questions fréquentes
Quel est l'intérêt concret de la distillation pour votre entreprise ?
Le modèle 'élève' est-il aussi bon que le modèle 'maître' ?
Comment se déroule techniquement la distillation ?
📚 Sources
- Distilling the Knowledge in a Neural Network (Hinton et al., 2015)
- Google AI Blog - Knowledge Distillation (Google Research, 2021)
🔗 Termes liés
🏷️ Catégorie parente