Cette page présente des supports d'entraînement et des conseils de préparation pour le International Machine Learning Competition.

🎓 Conseils de préparation pour les participants

Vous trouverez ci-dessous un ensemble de conseils conçus pour vous aider à vous préparer au International Machine Learning Competition. Ces recommandations sont adaptées pour soutenir votre réussite dans la compétition et améliorer vos compétences :

1. Connaître le format de la compétition
   Commencez par comprendre la structure et les exigences de chaque tour : le Qualification Round se concentre sur des sujets divers dans tous les domaines du machine learning, le Pre-Final Round comprend un examen supervisé basé sur un article de recherche récent, et le Final Round teste la résolution de problèmes variés et chronométrés dans des conditions d'examen. Réviser les anciens problèmes de IMLC vous aidera à saisir la diversité et le niveau de difficulté de chaque tour.


2. Se concentrer sur les sujets fondamentaux
   Les problèmes de IMLC proviennent d'un éventail de domaines du machine learning, notamment les fondements mathématiques, l'optimisation et la généralisation, le deep learning, les frontier models, les applications et l'IA de confiance (trustworthy AI). Assurez-vous d'être à l'aise avec les concepts fondamentaux, les algorithmes et les outils clés de ces sujets pour construire une base solide pour aborder les problèmes.


3. Entraîner vos capacités de résolution de problèmes
   Travaillez sur l'amélioration de votre intuition, de votre raisonnement et de votre pensée analytique en résolvant des problèmes de machine learning issus de manuels, de compétitions passées et des ressources recommandées ci-dessous. Entraînez-vous à dériver des algorithmes à la main, à lire des courbes de perte (loss curves), à identifier des hypothèses et à reconnaître des modes d'échec. Ces compétences vous aideront à aborder efficacement même les problèmes de IMLC les plus difficiles.


4. Apprendre de ses erreurs
   Réfléchir à vos erreurs et en tirer des leçons est un aspect essentiel de la progression dans n'importe quelle compétition. Tout d'abord, essayez de résoudre les problèmes autant que possible. Ensuite, comparez-les à une solution donnée et évaluez à quelles étapes vous avez commis des erreurs pour les corriger en conséquence.


5. Utiliser les ressources disponibles
   Profitez des anciens ensembles de problèmes de IMLC, des manuels recommandés et des plateformes en ligne pour affiner vos compétences. De plus, l'équipe IMLC est disponible pour vous fournir assistance et conseils ; n'hésitez pas à nous contacter pour obtenir du soutien.


6. Se préparer à lire un article de recherche (Pre-Final Round)
   Le Pre-Final Round vous donne un article de recherche récent en machine learning avant un examen supervisé. Entraînez-vous à lire et à résumer des articles, en vous concentrant sur l'extraction de la méthode clé, la compréhension de la structure des expériences et la connexion des résultats à des concepts plus larges de machine learning. Lire des articles qui présentent une méthode et l'évaluent vous aidera à développer cette compétence.


7. Simuler la résolution de problèmes chronométrée (Final Exam)
   La gestion du temps est essentielle pour le Pre-Final Round et encore plus pour le Final Exam. Entraînez-vous à résoudre des problèmes dans des limites de temps imparties pour développer un sens du rythme.


8. Collaborer et apprendre des autres
   Rejoignez des groupes d'étude, des clubs de machine learning ou connectez-vous avec des IMLC Ambassadors pour discuter de stratégies et partager des idées. La collaboration peut vous aider à explorer de nouvelles approches de résolution de problèmes et à rester motivé tout au long de votre préparation.


9. Profiter de l'expérience d'apprentissage
   Gardez à l'esprit que IMLC privilégie l'apprentissage et l'élargissement de vos connaissances pendant votre participation. Implique-toi dans chaque problème et considère chaque défi comme une opportunité d'approfondir ta compréhension du fonctionnement, de l'apprentissage et des échecs des modèles de machine learning.

☑ Syllabus

Ce qui suit présente les principaux domaines du machine learning couverts dans IMLC, ainsi que les concepts et outils clés qui sont fondamentaux pour chaque domaine. Ce syllabus n'est pas exhaustif, mais il couvre une grande partie du terrain que tu rencontreras. La plupart des problèmes ne nécessitent pas de connaissances hautement spécialisées ; ils testent plutôt la compréhension générale du machine learning. Garde à l'esprit que les tours suivants s'appuient sur les concepts des tours précédents, donc les idées ci-dessous progressent au fur et à mesure de la compétition.

• Fondamentaux :
  Les fondamentaux établissent le noyau classique sur lequel tout le reste du machine learning se construit. Cela inclut la compréhension du fonctionnement de modèles tels que les support vector machines, la régression logistique, les arbres de décision et les kernels, ainsi que la manière de les dériver à la main. La maîtrise de ces concepts est essentielle pour comprendre des sujets plus avancés.
  • Modèles linéaires : Régression linéaire, régression logistique, frontières de décision
  • Support Vector Machines : Classificateurs à marge maximale, le kernel trick
  • Arbres de décision : Critères de division, entropie, gain d'information
  • Fonction de perte (Loss Function) : \(L(\hat{y}, y)\) (Mesurer à quel point une prédiction est erronée)
  • Gradient : \(\nabla_\theta L(\theta)\) (Direction de l'augmentation la plus raide de la perte)


• Optimisation & Généralisation :
  Ce domaine couvre la manière dont les machines apprennent réellement : descente de gradient, paysages de perte (loss landscapes), régularisation, et pourquoi les modèles qui se contentent de mémoriser les données d'entraînement échouent à se généraliser à de nouvelles données. Ces concepts vous permettent de raisonner sur les raisons pour lesquelles un modèle s'entraîne bien ou mal.
  • Descente de gradient : \(\theta \leftarrow \theta - \eta \nabla_\theta L(\theta)\) (Mise à jour des paramètres pour réduire la perte)
  • Compromis Biais-Variance : Équilibrer le sous-apprentissage (underfitting) et le surapprentissage (overfitting)
  • Régularisation : \(L(\theta) + \lambda \lVert \theta \rVert^2\) (Pénaliser la complexité pour améliorer la généralisation)
  • Validation croisée : Estimer la performance d'un modèle sur des données non vues
  • Surapprentissage (Overfitting) : Lorsqu'un modèle s'adapte aux données d'entraînement mais échoue sur de nouvelles données


• Deep Learning :
  Le deep learning traite des architectures construites à partir de couches de représentations apprises. Comprendre la rétropropagation (backpropagation), les réseaux convolutionnels, les réseaux récurrents et le transformer aide à expliquer comment les modèles modernes traitent les données et apprennent à partir d'elles.
  • Rétropropagation : \(\frac{\partial L}{\partial \theta_i} = \frac{\partial L}{\partial y}\frac{\partial y}{\partial \theta_i}\) (Règle de la chaîne appliquée à travers un réseau)
  • Fonctions d'activation : ReLU, sigmoid, softmax, et pourquoi la non-linéarité est importante
  • Réseaux convolutionnels : Filtres appris pour les données spatiales telles que les images
  • Réseaux récurrents : Traitement de séquences en transmettant un état caché
  • Attention & Transformers : Pondérer les parties de l'entrée qui comptent pour chaque sortie


• Frontier Models :
  Les frontier models couvrent la pointe de la recherche actuelle dans le domaine : les grands modèles de langage, le fine-tuning, la génération augmentée par récupération (RAG) et les techniques d'efficacité qui rendent les grands modèles déployables. Comprendre l'échelle, l'adaptation et l'efficacité aide à expliquer pourquoi les plus grands modèles d'aujourd'hui se comportent de la manière dont ils le font.
  • Large Language Models : Pré-entraînement sur de grands corpus, prédiction du prochain jeton (next-token prediction)
  • Fine-Tuning : Adapter un modèle pré-entraîné à une tâche ou un domaine spécifique
  • Parameter-Efficient Fine-Tuning : Adapter un modèle en entraînant un petit ensemble de paramètres supplémentaires, tels que LoRA et les adapters
  • Retrieval-Augmented Generation : Combiner un modèle avec une source de connaissances externe
  • Quantification : Stocker les poids avec moins de bits pour réduire l'utilisation de la mémoire
  • Distillation : Entraîner un modèle plus petit pour imiter un modèle plus grand


• Applications :
  Les applications concernent l'endroit où les méthodes de machine learning aboutissent en pratique : vision par ordinateur, traitement du langage naturel, santé, systèmes de recommandation et découverte scientifique. Comprendre comment les mêmes méthodes sous-jacentes se traduisent en systèmes déployés aide à relier la théorie à l'impact dans le monde réel.
  • Vision par ordinateur : Classification d'images, détection d'objets, segmentation
  • Traitement du langage naturel : Classification de texte, traduction, réponse aux questions
  • Systèmes de recommandation : Prédire ce qu'un utilisateur est susceptible de vouloir ensuite
  • Applications de santé : Aide au diagnostic, prédiction des risques, imagerie
  • Métriques d'évaluation : Précision, rappel, exactitude, et quand chacune d'elles peut induire en erreur
  • Déséquilibre des classes : Pourquoi l'exactitude seule peut être une mauvaise mesure de la qualité d'un modèle


• IA de confiance (Trustworthy AI) :
  L'IA de confiance traite de la manière dont les modèles échouent, comment ils peuvent être attaqués et ce qu'un déploiement responsable exige. Comprendre la robustesse, l'équité et l'alignement aide à expliquer pourquoi un modèle qui performe bien sur le papier peut encore causer des dommages en pratique.
  • Exemples adverses : Petits changements d'entrée élaborés qui trompent un modèle
  • Robustesse : La capacité d'un modèle à résister à un changement de distribution ou à une attaque
  • Équité (Fairness) : Si les erreurs d'un modèle sont réparties de manière inégale entre les groupes
  • Alignement : Si le comportement d'un modèle correspond aux intentions de ses concepteurs
  • Interprétabilité : Comprendre pourquoi un modèle a produit une sortie donnée

De plus, le Pre-Final Round vous donne un article de recherche récent à étudier avant un examen supervisé. Le Final Exam peut également inclure des questions liées aux problèmes précédents (par exemple, l'article de recherche) du Pre-Final Round et du Qualification Round. Pensez à consulter cette page pour mieux comprendre en quoi IMLC diffère des autres formats de compétition et à quoi vous attendre :

• À propos de IMLC ↗ (Comment IMLC diffère des autres compétitions et à quoi s'attendre.)

📖 Recommandations de livres

La plupart des manuels d'introduction au machine learning, aux statistiques et au deep learning sont utiles et contiennent les informations nécessaires pour aborder les problèmes. Pour référence, veuillez consulter la liste suivante de livres recommandés :

• Fondements du Machine Learning :
• Stuart Russell et Peter Norvig. Artificial Intelligence: A Modern Approach. Pearson.
• Christopher M. Bishop. Pattern Recognition and Machine Learning. Springer.
• Kevin P. Murphy. Probabilistic Machine Learning: An Introduction. MIT Press.
• Aurélien Géron. Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow. O'Reilly Media.
• Shai Shalev-Shwartz et Shai Ben-David. Understanding Machine Learning: From Theory to Algorithms. Cambridge University Press.


• Apprentissage Statistique :
• Gareth James, Daniela Witten, Trevor Hastie et Robert Tibshirani. An Introduction to Statistical Learning. Springer.
• Trevor Hastie, Robert Tibshirani et Jerome Friedman. The Elements of Statistical Learning. Springer.


• Deep Learning :
• Ian Goodfellow, Yoshua Bengio et Aaron Courville. Deep Learning. MIT Press.
• Christopher M. Bishop et Hugh Bishop. Deep Learning: Foundations and Concepts. Springer.
• Simon J.D. Prince. Understanding Deep Learning. MIT Press.
• François Chollet. Deep Learning with Python. Manning Publications.
• Aston Zhang, Zachary C. Lipton, Mu Li et Alexander J. Smola. Dive into Deep Learning. Cambridge University Press.


• Mathématiques pour le Machine Learning :
• Marc Peter Deisenroth, A. Aldo Faisal et Cheng Soon Ong. Mathematics for Machine Learning. Cambridge University Press.
• Gilbert Strang. Introduction to Linear Algebra. Wellesley-Cambridge Press.
• Dimitri P. Bertsekas et John N. Tsitsiklis. Introduction to Probability. Athena Scientific.
• Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference. Springer.
• Stephen Boyd et Lieven Vandenberghe. Convex Optimization. Cambridge University Press.


• Traitement du langage naturel, Vision et Reinforcement Learning :
• Daniel Jurafsky et James H. Martin. Speech and Language Processing. Pearson.
• Richard Szeliski. Computer Vision: Algorithms and Applications. Springer.
• Richard S. Sutton et Andrew G. Barto. Reinforcement Learning: An Introduction. MIT Press.