Esta página contiene materiales de entrenamiento y consejos de preparación para el International Machine Learning Competition.

🎓 Consejos de preparación para participantes

A continuación, encontrarás un conjunto de consejos diseñados para ayudarte a prepararte para el International Machine Learning Competition. Estas recomendaciones están adaptadas para apoyar tu éxito en la competición y mejorar tus habilidades:

1. Conoce el formato de la competición
   Comienza por comprender la estructura y los requisitos de cada ronda: la Qualification Round se centra en diversos temas de todas las áreas del machine learning, la Pre-Final Round incluye un examen supervisado basado en un artículo de investigación reciente, y la Final Round pone a prueba la resolución de problemas bajo condiciones de examen con tiempo limitado. Revisar problemas de IMLC anteriores te ayudará a comprender la diversidad y el nivel de dificultad de cada ronda.


2. Enfócate en los temas principales
   Los problemas en IMLC provienen de una variedad de áreas de machine learning, incluyendo los fundamentos matemáticos, optimización y generalización, deep learning, frontier models, aplicaciones y trustworthy AI. Asegúrate de sentirte cómodo con los conceptos fundamentales, algoritmos y herramientas clave en estos temas para construir una base sólida al abordar los problemas.


3. Entrena tus habilidades de resolución de problemas
   Trabaja en mejorar tu intuición, razonamiento y pensamiento analítico resolviendo problemas de machine learning de libros de texto, competiciones pasadas y los recursos recomendados a continuación. Practica la derivación de algoritmos a mano, la lectura de curvas de pérdida (loss curves), la identificación de supuestos y el reconocimiento de modos de fallo. Estas habilidades te ayudarán a abordar incluso los problemas de IMLC más desafiantes de manera efectiva.


4. Aprende de tus errores
   Reflexionar sobre tus errores y aprender de ellos es una parte esencial del crecimiento en cualquier competición. Primero, intenta resolver los problemas lo más que puedas. Luego, compáralos con una solución dada y evalúa en qué pasos cometiste errores para corregirlos adecuadamente.


5. Utiliza los recursos disponibles
   Aprovecha los conjuntos de problemas de IMLC anteriores, los libros de texto recomendados y las plataformas en línea para perfeccionar tus habilidades. Además, el equipo de IMLC está disponible para brindar asistencia y orientación; no dudes en contactarnos para recibir apoyo.


6. Prepárate para leer un artículo de investigación (Pre-Final Round)
   La Pre-Final Round te proporciona un artículo de investigación reciente de machine learning antes de un examen supervisado. Practica la lectura y el resumen de artículos, enfocándote en extraer el método clave, comprender la estructura de los experimentos y conectar los hallazgos con conceptos más amplios de machine learning. Leer artículos que presentan un método y lo evalúan te ayudará a desarrollar esta habilidad.


7. Simula la resolución de problemas con tiempo limitado (Examen Final)
   La gestión del tiempo es esencial para la Pre-Final Round e incluso más para el Final Exam. Practica la resolución de problemas dentro de límites de tiempo establecidos para desarrollar un sentido del ritmo.


8. Colabora y aprende de los demás
   Únete a grupos de estudio, clubes de machine learning o conecta con IMLC Ambassadors para discutir estrategias y compartir conocimientos. La colaboración puede ayudarte a explorar nuevos enfoques de resolución de problemas y mantener la motivación durante toda tu preparación.


9. Disfruta la experiencia de aprendizaje
   Ten en cuenta que IMLC prioriza el aprendizaje y la expansión de tus conocimientos mientras participas. Involúcrate con cada problema y trata cada desafío como una oportunidad para profundizar tu comprensión de cómo los modelos de machine learning funcionan, aprenden y fallan.

☑ Syllabus

Lo siguiente describe las áreas principales de machine learning cubiertas en IMLC, junto con los conceptos y herramientas clave que son fundamentales para cada área. Este syllabus no es exhaustivo, pero cubre gran parte del terreno que encontrarás. La mayoría de los problemas no requieren conocimientos altamente especializados; en su lugar, evalúan la comprensión general de machine learning. Ten en cuenta que las rondas posteriores se basan en los conceptos de las rondas anteriores, por lo que las ideas a continuación se mantienen a medida que la competición progresa.

• Fundamentos:
  Los fundamentos establecen el núcleo clásico sobre el cual se construye todo lo demás en machine learning. Esto incluye comprender cómo funcionan modelos como support vector machines, logistic regression, decision trees y kernels, y cómo derivarlos a mano. El dominio de estos conceptos es esencial para comprender temas más avanzados.
  • Modelos Lineales: Linear regression, logistic regression, decision boundaries
  • Support Vector Machines: Maximum-margin classifiers, the kernel trick
  • Decision Trees: Splitting criteria, entropy, information gain
  • Función de Pérdida (Loss Function): \(L(\hat{y}, y)\) (Midiendo qué tan errónea es una predicción)
  • Gradiente: \(\nabla_\theta L(\theta)\) (Dirección del aumento más pronunciado de la pérdida)


• Optimización y Generalización:
  Esta área cubre cómo aprenden realmente las máquinas: gradient descent, loss landscapes, regularization, y por qué los modelos que simplemente memorizan los datos de entrenamiento no logran generalizar a nuevos datos. Estos conceptos te permiten razonar sobre por qué un modelo entrena bien o mal.
  • Gradient Descent: \(\theta \leftarrow \theta - \eta \nabla_\theta L(\theta)\) (Actualización de parámetros para reducir la pérdida)
  • Compromiso Sesgo-Varianza (Bias-Variance Tradeoff): Equilibrar el subajuste (underfitting) frente al sobreajuste (overfitting)
  • Regularización: \(L(\theta) + \lambda \lVert \theta \rVert^2\) (Penalizar la complejidad para mejorar la generalización)
  • Validación Cruzada (Cross-Validation): Estimar cómo se desempeña un modelo con datos no vistos
  • Overfitting: Cuando un modelo se ajusta a los datos de entrenamiento pero falla con datos nuevos


• Deep Learning:
  El deep learning trata con arquitecturas construidas a partir de capas de representaciones aprendidas. Comprender la backpropagation, las convolutional networks, las recurrent networks y el transformer ayuda a explicar cómo los modelos modernos procesan los datos y aprenden de ellos.
  • Backpropagation: \(\frac{\partial L}{\partial \theta_i} = \frac{\partial L}{\partial y}\frac{\partial y}{\partial \theta_i}\) (Regla de la cadena aplicada a través de una red)
  • Funciones de Activación: ReLU, sigmoid, softmax, y por qué la no linealidad es importante
  • Convolutional Networks: Filtros aprendidos para datos espaciales como imágenes
  • Recurrent Networks: Procesamiento de secuencias manteniendo un estado oculto (hidden state)
  • Attention & Transformers: Ponderar qué partes de la entrada son importantes para cada salida


• Frontier Models:
  Frontier models cubre la frontera de investigación actual del campo: large language models, fine-tuning, retrieval-augmented generation y las técnicas de eficiencia que hacen que los modelos grandes sean desplegables. Comprender la escala, la adaptación y la eficiencia ayuda a explicar por qué los modelos más grandes de hoy se comportan como lo hacen.
  • Large Language Models: Preentrenamiento en grandes corpora, predicción del siguiente token
  • Fine-Tuning: Adaptar un modelo preentrenado a una tarea o dominio específico
  • Parameter-Efficient Fine-Tuning: Adaptar un modelo entrenando un pequeño conjunto de parámetros adicionales, como LoRA y adapters
  • Retrieval-Augmented Generation: Combinar un modelo con una fuente de conocimiento externa
  • Cuantización (Quantization): Almacenar pesos con menos bits para reducir el uso de memoria
  • Destilación (Distillation): Entrenar un modelo más pequeño para imitar a uno más grande


• Aplicaciones:
  Las aplicaciones tratan sobre dónde aterrizan los métodos de machine learning en la práctica: computer vision, natural language processing, salud, sistemas de recomendación y descubrimiento científico. Comprender cómo los mismos métodos subyacentes se traducen en sistemas desplegados ayuda a conectar la teoría con el impacto en el mundo real.
  • Computer Vision: Clasificación de imágenes, detección de objetos, segmentación
  • Natural Language Processing: Clasificación de texto, traducción, respuesta a preguntas
  • Recommender Systems: Predecir qué es probable que un usuario quiera a continuación
  • Aplicaciones en Salud: Apoyo al diagnóstico, predicción de riesgos, imágenes médicas
  • Métricas de Evaluación: Precision, recall, accuracy, y cuándo cada una puede ser engañosa
  • Desequilibrio de Clases (Class Imbalance): Por qué la accuracy por sí sola puede ser una mala medida de la calidad de un modelo


• Trustworthy AI:
  Trustworthy AI trata sobre cómo fallan los modelos, cómo pueden ser atacados y qué exige un despliegue responsable. Comprender la robustez, la equidad (fairness) y la alineación ayuda a explicar por qué un modelo que funciona bien en el papel aún puede causar daño en la práctica.
  • Adversarial Examples: Pequeños cambios de entrada diseñados para engañar a un modelo
  • Robustez: Qué tan bien se mantiene un modelo ante un cambio de distribución o un ataque
  • Fairness: Si los errores de un modelo se distribuyen de manera desigual entre los grupos
  • Alineación (Alignment): Si el comportamiento de un modelo coincide con las intenciones de sus diseñadores
  • Interpretabilidad: Comprender por qué un modelo produjo una salida determinada

Además, la Pre-Final Round te ofrece un artículo de investigación reciente para estudiar antes de un examen supervisado. El Final Exam también puede incluir preguntas relacionadas con los problemas anteriores (por ejemplo, el artículo de investigación) de la Pre-Final Round y la Qualification Round. Considera revisar esta página para entender mejor en qué se diferencia IMLC de otros formatos de competición y qué esperar:

• Acerca de IMLC ↗ (Cómo IMLC difiere de otras competiciones y qué esperar.)

📖 Recomendaciones de libros

La mayoría de los libros de texto introductorios de machine learning, estadística y deep learning son útiles y contienen la información necesaria para abordar los problemas. Para referencia, consulta la siguiente lista de libros recomendados:

• Fundamentos de Machine Learning:
• Stuart Russell and Peter Norvig. Artificial Intelligence: A Modern Approach. Pearson.
• Christopher M. Bishop. Pattern Recognition and Machine Learning. Springer.
• Kevin P. Murphy. Probabilistic Machine Learning: An Introduction. MIT Press.
• Aurélien Géron. Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow. O'Reilly Media.
• Shai Shalev-Shwartz and Shai Ben-David. Understanding Machine Learning: From Theory to Algorithms. Cambridge University Press.


• Aprendizaje Estadístico:
• Gareth James, Daniela Witten, Trevor Hastie, and Robert Tibshirani. An Introduction to Statistical Learning. Springer.
• Trevor Hastie, Robert Tibshirani, and Jerome Friedman. The Elements of Statistical Learning. Springer.


• Deep Learning:
• Ian Goodfellow, Yoshua Bengio, and Aaron Courville. Deep Learning. MIT Press.
• Christopher M. Bishop and Hugh Bishop. Deep Learning: Foundations and Concepts. Springer.
• Simon J.D. Prince. Understanding Deep Learning. MIT Press.
• François Chollet. Deep Learning with Python. Manning Publications.
• Aston Zhang, Zachary C. Lipton, Mu Li, and Alexander J. Smola. Dive into Deep Learning. Cambridge University Press.


• Matemáticas para Machine Learning:
• Marc Peter Deisenroth, A. Aldo Faisal, and Cheng Soon Ong. Mathematics for Machine Learning. Cambridge University Press.
• Gilbert Strang. Introduction to Linear Algebra. Wellesley-Cambridge Press.
• Dimitri P. Bertsekas and John N. Tsitsiklis. Introduction to Probability. Athena Scientific.
• Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference. Springer.
• Stephen Boyd and Lieven Vandenberghe. Convex Optimization. Cambridge University Press.


• Natural Language Processing, Vision, and Reinforcement Learning:
• Daniel Jurafsky and James H. Martin. Speech and Language Processing. Pearson.
• Richard Szeliski. Computer Vision: Algorithms and Applications. Springer.
• Richard S. Sutton and Andrew G. Barto. Reinforcement Learning: An Introduction. MIT Press.