이 페이지에는 International Machine Learning Competition를 위한 훈련 자료와 준비 팁이 담겨 있습니다.

🎓 참가자를 위한 준비 팁

아래에서 International Machine Learning Competition를 준비하는 데 도움이 되도록 설계된 일련의 팁을 확인할 수 있습니다. 이 권장 사항들은 여러분의 성공적인 대회 참여와 기술 향상을 지원하기 위해 맞춤 제작되었습니다:

1. 대회 형식 숙지하기
   먼저 각 라운드의 구조와 요구 사항을 이해하는 것부터 시작하세요. Qualification Round는 머신러닝의 모든 분야에 걸친 다양한 주제에 집중하며, Pre-Final Round는 최근 연구 논문을 바탕으로 한 감독 시험을 포함하고, Final Round는 시험 조건 하에서 제한된 시간 내에 폭넓은 문제 해결 능력을 테스트합니다. 지난 IMLC 문제들을 검토하면 각 라운드의 다양성과 난이도를 파악하는 데 도움이 될 것입니다.


2. 핵심 주제에 집중하기
   IMLC의 문제들은 수학적 기초, 최적화 및 일반화, 딥러닝, frontier models, 응용 분야, 그리고 trustworthy AI를 포함한 다양한 머신러닝 분야에서 출제됩니다. 문제를 해결하기 위한 탄탄한 기초를 쌓을 수 있도록 이러한 주제들의 기본 개념, 알고리즘 및 주요 도구들에 익숙해지도록 하세요.


3. 문제 해결 능력 훈련하기
   교과서, 지난 대회 문제, 그리고 아래에 추천된 리소스들을 통해 머신러닝 문제를 풀면서 직관, 추론 및 분석적 사고 능력을 향상시키세요. 알고리즘을 직접 유도해보고, loss curves를 읽고, 가정을 식별하며, failure modes를 인식하는 연습을 하세요. 이러한 기술들은 가장 어려운 IMLC 문제에도 효과적으로 접근할 수 있게 해줄 것입니다.


4. 실수를 통해 배우기
   실수를 되돌아보고 그로부터 배우는 것은 모든 대회에서 성장을 위한 필수적인 부분입니다. 먼저, 가능한 한 끝까지 문제를 풀어보세요. 그런 다음, 주어진 정답과 비교하여 어느 단계에서 실수가 있었는지 평가하고 그에 따라 수정하세요.


5. 가용한 리소스 활용하기
   지난 IMLC 문제 세트, 추천 교과서, 온라인 플랫폼을 활용하여 실력을 갈고닦으세요. 또한, IMLC 팀이 도움과 안내를 제공할 준비가 되어 있으니, 지원이 필요하면 주저하지 말고 문의하세요.


6. 연구 논문 읽기 준비 (Pre-Final Round)
   Pre-Final Round에서는 감독 시험 전에 최근 머신러닝 연구 논문을 제공합니다. 논문을 읽고 요약하는 연습을 하되, 핵심 방법론을 추출하고, 실험 구조를 이해하며, 발견된 내용을 더 넓은 머신러닝 개념과 연결하는 데 집중하세요. 방법론을 제시하고 이를 평가하는 논문들을 읽는 것이 이 기술을 개발하는 데 도움이 됩니다.


7. 시간 제한 문제 해결 시뮬레이션 (Final Exam)
   시간 관리는 Pre-Final Round뿐만 아니라 Final Exam에서 더욱 필수적입니다. 페이스 조절 감각을 익히기 위해 정해진 시간 내에 문제를 푸는 연습을 하세요.


8. 협업하고 타인에게 배우기
   스터디 그룹이나 머신러닝 클럽에 참여하거나 IMLC Ambassadors와 연결하여 전략을 논의하고 통찰력을 공유하세요. 협업은 새로운 문제 해결 접근 방식을 탐구하고 준비 과정 내내 동기 부여를 유지하는 데 도움이 될 수 있습니다.


9. 학습 경험을 즐기기
   IMLC는 참여하는 동안 학습하고 지식을 확장하는 것을 우선시한다는 점을 명심하세요. 각 문제에 몰입하고, 모든 도전을 머신러닝 모델이 어떻게 작동하고, 학습하며, 실패하는지에 대한 이해를 깊게 하는 기회로 삼으세요.

☑ Syllabus

다음은 IMLC에서 다루는 핵심 머신러닝 분야와 각 분야의 기초가 되는 주요 개념 및 도구들에 대한 개요입니다. 이 syllabus는 모든 내용을 포괄하지는 않지만, 여러분이 접하게 될 대부분의 내용을 다룹니다. 대부분의 문제는 고도의 전문 지식을 요구하지 않으며, 대신 일반적인 머신러닝 이해도를 테스트합니다. 이후의 라운드들은 이전 라운드의 개념을 바탕으로 진행되므로, 아래의 아이디어들은 대회가 진행됨에 따라 계속 이어집니다.

• Fundamentals:
  Fundamentals는 머신러닝의 다른 모든 것들이 구축되는 고전적인 핵심을 설정합니다. 여기에는 support vector machines, logistic regression, decision trees, 그리고 kernels와 같은 모델이 어떻게 작동하는지, 그리고 이를 어떻게 직접 유도하는지에 대한 이해가 포함됩니다. 이러한 개념을 숙달하는 것은 더 고급 주제를 이해하는 데 필수적입니다.
  • Linear Models: Linear regression, logistic regression, decision boundaries
  • Support Vector Machines: Maximum-margin classifiers, the kernel trick
  • Decision Trees: Splitting criteria, entropy, information gain
  • Loss Function: \(L(\hat{y}, y)\) (예측이 얼마나 틀렸는지 측정)
  • Gradient: \(\nabla_\theta L(\theta)\) (loss의 가장 가파른 증가 방향)


• Optimization & Generalization:
  이 분야는 기계가 실제로 학습하는 방식을 다룹니다: gradient descent, loss landscapes, regularization, 그리고 단순히 훈련 데이터를 암기하는 모델이 왜 새로운 데이터에 일반화되지 못하는지에 대해 다룹니다. 이러한 개념들을 통해 모델이 왜 잘 학습되는지 또는 잘 학습되지 않는지에 대해 추론할 수 있습니다.
  • Gradient Descent: \(\theta \leftarrow \theta - \eta \nabla_\theta L(\theta)\) (loss를 줄이기 위해 파라미터 업데이트)
  • Bias-Variance Tradeoff: underfitting과 overfitting 사이의 균형 맞추기
  • Regularization: \(L(\theta) + \lambda \lVert \theta \rVert^2\) (일반화를 개선하기 위해 복잡도에 페널티 부여)
  • Cross-Validation: 모델이 보지 못한 데이터에서 어떻게 작동하는지 추정
  • Overfitting: 모델이 훈련 데이터에는 잘 맞지만 새로운 데이터에서는 실패하는 경우


• Deep Learning:
  Deep learning은 학습된 표현(representations)의 레이어로 구축된 아키텍처를 다룹니다. backpropagation, convolutional networks, recurrent networks, 그리고 transformer를 이해하면 현대 모델이 데이터를 어떻게 처리하고 학습하는지 설명하는 데 도움이 됩니다.
  • Backpropagation: \(\frac{\partial L}{\partial \theta_i} = \frac{\partial L}{\partial y}\frac{\partial y}{\partial \theta_i}\) (네트워크를 통해 적용되는 chain rule)
  • Activation Functions: ReLU, sigmoid, softmax, 그리고 비선형성이 중요한 이유
  • Convolutional Networks: 이미지와 같은 공간 데이터를 위한 학습된 필터
  • Recurrent Networks: hidden state를 전달함으로써 시퀀스를 처리
  • Attention & Transformers: 입력의 어떤 부분이 각 출력에 중요한지 가중치를 부여


• Frontier Models:
  Frontier models는 이 분야의 최첨단 연구를 다룹니다: large language models, fine-tuning, retrieval-augmented generation, 그리고 대규모 모델을 배포 가능하게 만드는 효율성 기술들이 포함됩니다. scale, adaptation, 그리고 efficiency를 이해하면 오늘날의 거대 모델들이 왜 그렇게 작동하는지 설명하는 데 도움이 됩니다.
  • Large Language Models: 대규모 코퍼스에서의 pretraining, next-token prediction
  • Fine-Tuning: 사전 학습된 모델을 특정 작업이나 도메인에 맞게 조정
  • Parameter-Efficient Fine-Tuning: LoRA 및 adapters와 같이 소수의 추가 파라미터만을 학습시켜 모델을 조정
  • Retrieval-Augmented Generation: 모델을 외부 지식 소스와 결합
  • Quantization: 메모리 사용량을 줄이기 위해 더 적은 비트로 가중치를 저장
  • Distillation: 더 큰 모델을 모방하도록 더 작은 모델을 학습


• Applications:
  Applications는 머신러닝 방법론이 실제로 적용되는 분야를 다룹니다: computer vision, natural language processing, healthcare, recommender systems, 그리고 scientific discovery입니다. 동일한 근본 방법론이 어떻게 배포된 시스템으로 변환되는지 이해하면 이론을 실제 세상의 영향력과 연결하는 데 도움이 됩니다.
  • Computer Vision: Image classification, object detection, segmentation
  • Natural Language Processing: Text classification, translation, question answering
  • Recommender Systems: 사용자가 다음에 무엇을 원할지 예측
  • Healthcare Applications: Diagnosis support, risk prediction, imaging
  • Evaluation Metrics: Precision, recall, accuracy, 그리고 각각이 언제 오해를 불러일으키는지
  • Class Imbalance: 왜 accuracy만으로는 모델의 품질을 측정하기에 부족할 수 있는지


• Trustworthy AI:
  Trustworthy AI는 모델이 어떻게 실패하는지, 어떻게 공격받을 수 있는지, 그리고 책임감 있는 배포를 위해 무엇이 요구되는지를 다룹니다. robustness, fairness, 그리고 alignment를 이해하면 이론적으로 잘 작동하는 모델이 실제로는 왜 해를 끼칠 수 있는지 설명하는 데 도움이 됩니다.
  • Adversarial Examples: 모델을 속이기 위해 정교하게 만들어진 작은 입력 변화
  • Robustness: 모델이 distribution shift 또는 공격 하에서 얼마나 잘 견디는지
  • Fairness: 모델의 오류가 그룹 간에 불균등하게 분포되어 있는지 여부
  • Alignment: 모델의 행동이 설계자의 의도와 일치하는지 여부
  • Interpretability: 모델이 왜 특정 출력을 생성했는지 이해하는 것

또한, Pre-Final Round에서는 감독 시험 전에 공부할 수 있는 최근 연구 논문을 제공합니다. Final Exam에는 Pre-Final Round 및 Qualification Round의 이전 문제(예: 연구 논문)와 관련된 질문이 포함될 수 있습니다. IMLC이 다른 대회 형식과 어떻게 다른지, 그리고 무엇을 기대할 수 있는지 더 잘 이해하려면 이 페이지를 확인해 보세요:

• IMLC에 대하여 ↗ (IMLC이 다른 대회와 어떻게 다르며 무엇을 기대할 수 있는지에 대하여.)

📖 도서 추천

대부분의 입문용 머신러닝, 통계학, 딥러닝 교과서는 유용하며 문제를 해결하는 데 필요한 정보를 담고 있습니다. 참고를 위해 다음의 추천 도서 목록을 확인해 보세요:

• Machine Learning Foundations:
• Stuart Russell and Peter Norvig. Artificial Intelligence: A Modern Approach. Pearson.
• Christopher M. Bishop. Pattern Recognition and Machine Learning. Springer.
• Kevin P. Murphy. Probabilistic Machine Learning: An Introduction. MIT Press.
• Aurélien Géron. Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow. O'Reilly Media.
• Shai Shalev-Shwartz and Shai Ben-David. Understanding Machine Learning: From Theory to Algorithms. Cambridge University Press.


• Statistical Learning:
• Gareth James, Daniela Witten, Trevor Hastie, and Robert Tibshirani. An Introduction to Statistical Learning. Springer.
• Trevor Hastie, Robert Tibshirani, and Jerome Friedman. The Elements of Statistical Learning. Springer.


• Deep Learning:
• Ian Goodfellow, Yoshua Bengio, and Aaron Courville. Deep Learning. MIT Press.
• Christopher M. Bishop and Hugh Bishop. Deep Learning: Foundations and Concepts. Springer.
• Simon J.D. Prince. Understanding Deep Learning. MIT Press.
• François Chollet. Deep Learning with Python. Manning Publications.
• Aston Zhang, Zachary C. Lipton, Mu Li, and Alexander J. Smola. Dive into Deep Learning. Cambridge University Press.


• Mathematics for Machine Learning:
• Marc Peter Deisenroth, A. Aldo Faisal, and Cheng Soon Ong. Mathematics for Machine Learning. Cambridge University Press.
• Gilbert Strang. Introduction to Linear Algebra. Wellesley-Cambridge Press.
• Dimitri P. Bertsekas and John N. Tsitsiklis. Introduction to Probability. Athena Scientific.
• Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference. Springer.
• Stephen Boyd and Lieven Vandenberghe. Convex Optimization. Cambridge University Press.


• Natural Language Processing, Vision, and Reinforcement Learning:
• Daniel Jurafsky and James H. Martin. Speech and Language Processing. Pearson.
• Richard Szeliski. Computer Vision: Algorithms and Applications. Springer.
• Richard S. Sutton and Andrew G. Barto. Reinforcement Learning: An Introduction. MIT Press.