Esta página apresenta materiais de treinamento e dicas de preparação para o International Machine Learning Competition.

🎓 Dicas de Preparação para Participantes

Abaixo, você encontrará um conjunto de dicas projetadas para ajudá-lo a se preparar para o International Machine Learning Competition. Estas recomendações são personalizadas para apoiar seu sucesso na competição e aprimorar suas habilidades:

1. Conheça o Formato da Competição
   Comece entendendo a estrutura e os requisitos de cada rodada: a Qualification Round foca em diversos tópicos em todas as áreas de machine learning, a Pre-Final Round inclui um exame supervisionado baseado em um artigo de pesquisa recente, e a Final Round testa a resolução de problemas de forma ampla e cronometrada sob condições de exame. Revisar problemas de IMLC anteriores ajudará você a compreender a diversidade e o nível de dificuldade de cada rodada.


2. Foque nos Tópicos Principais
   Os problemas em IMLC vêm de uma gama de áreas de machine learning, incluindo fundamentos matemáticos, otimização e generalização, deep learning, frontier models, aplicações e trustworthy AI. Certifique-se de estar confortável com os conceitos fundamentais, algoritmos e ferramentas essenciais nesses tópicos para construir uma base sólida para enfrentar os problemas.


3. Treine suas Habilidades de Resolução de Problemas
   Trabalhe para melhorar sua intuição, raciocínio e pensamento analítico resolvendo problemas de machine learning de livros didáticos, competições passadas e os recursos recomendados abaixo. Pratique derivar algoritmos à mão, ler curvas de perda (loss curves), identificar suposições e reconhecer modos de falha. Essas habilidades ajudarão você a abordar até mesmo os problemas de IMLC mais desafiadores de forma eficaz.


4. Aprenda com os Erros
   Refletir sobre seus erros e aprender com eles é uma parte essencial do crescimento em qualquer competição. Primeiro, tente resolver os problemas o máximo possível. Depois, compare-os com uma solução fornecida e avalie em quais etapas você cometeu erros e corrija-os adequadamente.


5. Use os Recursos Disponíveis
   Aproveite conjuntos de problemas de IMLC anteriores, livros didáticos recomendados e plataformas online para refinar suas habilidades. Além disso, a equipe IMLC está disponível para fornecer assistência e orientação; não hesite em nos contatar para suporte.


6. Prepare-se para Ler um Artigo de Pesquisa (Pre-Final Round)
   A Pre-Final Round oferece um artigo de pesquisa recente de machine learning antes de um exame supervisionado. Pratique a leitura e o resumo de artigos, focando em extrair o método principal, compreender a estrutura dos experimentos e conectar as descobertas a conceitos mais amplos de machine learning. Ler artigos que apresentam um método e o avaliam ajudará a desenvolver essa habilidade.


7. Simule a Resolução de Problemas com Tempo (Exame Final)
   A gestão do tempo é essencial para a Pre-Final Round e ainda mais para o Final Exam. Pratique resolver problemas dentro de limites de tempo definidos para desenvolver um senso de ritmo.


8. Colabore e Aprenda com Outros
   Participe de grupos de estudo, clubes de machine learning ou conecte-se com IMLC Ambassadors para discutir estratégias e compartilhar insights. A colaboração pode ajudá-lo a explorar novas abordagens de resolução de problemas e manter a motivação durante toda a sua preparação.


9. Aproveite a Experiência de Aprendizado
   Tenha em mente que o IMLC prioriza o aprendizado e a expansão do seu conhecimento durante a participação. Envolva-se com cada problema e trate cada desafio como uma oportunidade para aprofundar sua compreensão de como os modelos de machine learning funcionam, aprendem e falham.

☑ Syllabus

O seguinte esboço descreve as principais áreas de machine learning cobertas em IMLC, juntamente com conceitos e ferramentas fundamentais para cada área. Este syllabus não é abrangente, mas cobre grande parte do terreno que você encontrará. A maioria dos problemas não exige conhecimento altamente especializado; em vez disso, eles testam a compreensão geral de machine learning. Tenha em mente que as rodadas subsequentes baseiam-se nos conceitos das rodadas anteriores, portanto, as ideias abaixo avançam conforme a competição progride.

• Fundamentos:
  Os fundamentos estabelecem o núcleo clássico sobre o qual tudo o mais em machine learning é construído. Isso inclui entender como modelos como support vector machines, regressão logística, árvores de decisão e kernels funcionam, e como derivá-los à mão. O domínio desses conceitos é essencial para entender tópicos mais avançados.
  • Modelos Lineares: Regressão linear, regressão logística, fronteiras de decisão
  • Support Vector Machines: Classificadores de margem máxima, o kernel trick
  • Decision Trees: Critérios de divisão, entropia, ganho de informação
  • Função de Perda (Loss Function): \(L(\hat{y}, y)\) (Medindo o quão errada é uma previsão)
  • Gradiente: \(\nabla_\theta L(\theta)\) (Direção do aumento mais íngreme da perda)


• Otimização & Generalização:
  Esta área cobre como as máquinas realmente aprendem: gradient descent, landscapes de perda, regularização e por que modelos que apenas memorizam os dados de treinamento falham ao generalizar para novos dados. Esses conceitos permitem que você raciocine sobre por que um modelo treina bem ou mal.
  • Gradient Descent: \(\theta \leftarrow \theta - \eta \nabla_\theta L(\theta)\) (Atualizando parâmetros para reduzir a perda)
  • Bias-Variance Tradeoff: Equilibrando underfitting contra overfitting
  • Regularização: \(L(\theta) + \lambda \lVert \theta \rVert^2\) (Penalizando a complexidade para melhorar a generalização)
  • Cross-Validation: Estimando como um modelo se comporta em dados não vistos
  • Overfitting: Quando um modelo se ajusta aos dados de treinamento, mas falha em novos dados


• Deep Learning:
  Deep learning lida com arquiteturas construídas a partir de camadas de representações aprendidas. Entender backpropagation, redes convolucionais, redes recorrentes e o transformer ajuda a explicar como os modelos modernos processam dados e aprendem com eles.
  • Backpropagation: \(\frac{\partial L}{\partial \theta_i} = \frac{\partial L}{\partial y}\frac{\partial y}{\partial \theta_i}\) (Regra da cadeia aplicada através de uma rede)
  • Funções de Ativação: ReLU, sigmoid, softmax, e por que a não-linearidade é importante
  • Redes Convolucionais: Filtros aprendidos para dados espaciais como imagens
  • Redes Recorrentes: Processamento de sequências carregando um estado oculto adiante
  • Attention & Transformers: Pesando quais partes da entrada importam para cada saída


• Frontier Models:
  Frontier models cobre a fronteira de pesquisa atual do campo: large language models, fine-tuning, retrieval-augmented generation e as técnicas de eficiência que tornam os grandes modelos implantáveis. Entender escala, adaptação e eficiência ajuda a explicar por que os maiores modelos de hoje se comportam da maneira que se comportam.
  • Large Language Models: Pré-treinamento em grandes corpora, previsão do próximo token
  • Fine-Tuning: Adaptando um modelo pré-treinado para uma tarefa ou domínio específico
  • Parameter-Efficient Fine-Tuning: Adaptando um modelo treinando um pequeno conjunto de parâmetros extras, como LoRA e adapters
  • Retrieval-Augmented Generation: Combinando um modelo com uma fonte de conhecimento externa
  • Quantização: Armazenando pesos com menos bits para reduzir o uso de memória
  • Destilação: Treinando um modelo menor para imitar um maior


• Aplicações:
  Aplicações trata de onde os métodos de machine learning chegam na prática: visão computacional, processamento de linguagem natural, saúde, sistemas de recomendação e descoberta científica. Entender como os mesmos métodos subjacentes se traduzem em sistemas implantados ajuda a conectar a teoria ao impacto no mundo real.
  • Visão Computacional: Classificação de imagem, detecção de objetos, segmentação
  • Processamento de Linguagem Natural: Classificação de texto, tradução, resposta a perguntas
  • Sistemas de Recomendação: Prever o que um usuário provavelmente desejará a seguir
  • Aplicações em Saúde: Suporte ao diagnóstico, previsão de risco, imagem
  • Métricas de Avaliação: Precisão, recall, acurácia, e quando cada uma pode induzir ao erro
  • Desequilíbrio de Classes: Por que a acurácia sozinha pode ser uma medida ruim da qualidade de um modelo


• Trustworthy AI:
  Trustworthy AI trata de como os modelos falham, como podem ser atacados e o que a implantação responsável exige. Entender robustez, justiça (fairness) e alinhamento ajuda a explicar por que um modelo que tem bom desempenho no papel ainda pode causar danos na prática.
  • Exemplos Adversários: Pequenas mudanças de entrada elaboradas que enganam um modelo
  • Robustez: O quão bem um modelo resiste a mudanças de distribuição ou ataques
  • Fairness: Se os erros de um modelo são distribuídos de forma desigual entre grupos
  • Alinhamento: Se o comportamento de um modelo corresponde às intenções de seus designers
  • Interpretabilidade: Entender por que um modelo produziu uma determinada saída

Além disso, a Pre-Final Round oferece um artigo de pesquisa recente para você estudar antes de um exame supervisionado. O Final Exam também pode incluir questões relacionadas aos problemas anteriores (por exemplo, o artigo de pesquisa) da Pre-Final Round e da Qualification Round. Considere conferir esta página para entender melhor como o IMLC difere de outros formatos de competição e o que esperar:

• Sobre IMLC ↗ (Como o IMLC difere de outras competições e o que esperar.)

📖 Recomendações de Livros

A maioria dos livros didáticos introdutórios de machine learning, estatística e deep learning são úteis e contêm as informações necessárias para abordar os problemas. Para referência, dê uma olhada na seguinte lista de livros recomendados:

• Fundamentos de Machine Learning:
• Stuart Russell e Peter Norvig. Artificial Intelligence: A Modern Approach. Pearson.
• Christopher M. Bishop. Pattern Recognition and Machine Learning. Springer.
• Kevin P. Murphy. Probabilistic Machine Learning: An Introduction. MIT Press.
• Aurélien Géron. Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow. O'Reilly Media.
• Shai Shalev-Shwartz e Shai Ben-David. Understanding Machine Learning: From Theory to Algorithms. Cambridge University Press.


• Aprendizado Estatístico:
• Gareth James, Daniela Witten, Trevor Hastie e Robert Tibshirani. An Introduction to Statistical Learning. Springer.
• Trevor Hastie, Robert Tibshirani e Jerome Friedman. The Elements of Statistical Learning. Springer.


• Deep Learning:
• Ian Goodfellow, Yoshua Bengio e Aaron Courville. Deep Learning. MIT Press.
• Christopher M. Bishop e Hugh Bishop. Deep Learning: Foundations and Concepts. Springer.
• Simon J.D. Prince. Understanding Deep Learning. MIT Press.
• François Chollet. Deep Learning with Python. Manning Publications.
• Aston Zhang, Zachary C. Lipton, Mu Li e Alexander J. Smola. Dive into Deep Learning. Cambridge University Press.


• Matemática para Machine Learning:
• Marc Peter Deisenroth, A. Aldo Faisal e Cheng Soon Ong. Mathematics for Machine Learning. Cambridge University Press.
• Gilbert Strang. Introduction to Linear Algebra. Wellesley-Cambridge Press.
• Dimitri P. Bertsekas e John N. Tsitsiklis. Introduction to Probability. Athena Scientific.
• Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference. Springer.
• Stephen Boyd e Lieven Vandenberghe. Convex Optimization. Cambridge University Press.


• Processamento de Linguagem Natural, Visão e Reinforcement Learning:
• Daniel Jurafsky e James H. Martin. Speech and Language Processing. Pearson.
• Richard Szeliski. Computer Vision: Algorithms and Applications. Springer.
• Richard S. Sutton e Andrew G. Barto. Reinforcement Learning: An Introduction. MIT Press.