このページでは、International Machine Learning Competitionのためのトレーニング教材と準備のヒントを紹介します。

🎓 参加者のための準備のヒント

以下に、International Machine Learning Competitionの準備に役立つヒントをまとめました。これらの推奨事項は、コンペティションでの成功をサポートし、スキルを向上させるために調整されています。

1. コンペティションの形式を知る
   まずは、各ラウンドの構成と要件を理解することから始めましょう。Qualification Roundは機械学習のあらゆる分野にわたる多様なトピックに焦点を当て、Pre-Final Roundは最近の研究論文に基づいた監督付き試験が含まれ、Final Roundでは試験条件下での広範かつ制限時間のある問題解決能力がテストされます。過去の IMLC 問題を見直すことで、各ラウンドの多様性と難易度を把握するのに役立ちます。


2. コアトピックに集中する
   IMLC の問題は、数学的基礎、最適化と汎化、ディープラーニング、Frontier Models、アプリケーション、そしてTrustworthy AIを含む、幅広い機械学習の領域から出題されます。問題に取り組むための強固な基礎を築くために、これらのトピックにおける基本的な概念、アルゴリズム、および主要なツールを確実に習得しておきましょう。


3. 問題解決スキルを鍛える
   教科書、過去のコンペティション、および以下に推奨されるリソースの問題を解くことで、直感、推論、および分析的思考を向上させましょう。アルゴリズムを手計算で導き出したり、損失曲線（loss curves）を読み取ったり、仮定を特定したり、失敗モードを認識したりする練習をしてください。これらのスキルは、最も困難な IMLC 問題にも効果的に取り組む助けとなります。


4. 間違いから学ぶ
   間違いを振り返り、そこから学ぶことは、あらゆるコンペティションにおける成長に不可欠な要素です。まずは、できる限り問題を解いてみてください。その後、解答と比較し、どのステップで間違えたのかを評価して、適切に修正しましょう。


5. 利用可能なリソースを活用する
   過去の IMLC 問題セット、推奨される教科書、およびオンラインプラットフォームを活用してスキルを磨きましょう。さらに、IMLC チームが支援とガイダンスを提供しています。サポートが必要な場合は、遠慮なくお問い合わせください。


6. 研究論文を読む準備をする (Pre-Final Round)
   Pre-Final Roundでは、監督付き試験の前に最近の機械学習の研究論文が与えられます。論文を読み、要約する練習をしましょう。特に、主要な手法の抽出、実験構成の理解、および知見をより広範な機械学習の概念に結びつけることに重点を置いてください。手法を提示し、それを評価している論文を読むことが、このスキルの向上に役立ちます。


7. 時間制限のある問題解決をシミュレートする (Final Exam)
   時間管理は、Pre-Final Round、そしてさらにFinal Examにおいて不可欠です。ペース配分感覚を養うために、設定された制限時間内に問題を解く練習をしてください。


8. 協力し、他者から学ぶ
   勉強会や機械学習クラブに参加したり、IMLC Ambassadors とつながって戦略を議論したり、洞察を共有したりしましょう。協力することで、新しい問題解決のアプローチを探求したり、準備期間中ずっとモチベーションを維持したりすることができます。


9. 学習体験を楽しむ
   IMLC は、参加しながら学習し、知識を広げることを優先していることを忘れないでください。各問題に積極的に取り組み、あらゆる挑戦を、機械学習モデルがどのように機能し、学習し、失敗するかについての理解を深める機会として捉えてください。

☑ シラバス

以下は、IMLC で扱われる主要な機械学習領域と、各領域の基礎となる重要な概念およびツールのアウトラインです。このシラバスは 網羅的なものではありませんが、遭遇するであろう範囲の多くをカバーしています。ほとんどの問題は高度に専門的な知識を必要とせず、代わりに一般的な機械学習の理解をテストします。後続のラウンドは前のラウンドの概念に基づいて構築されるため、以下のアイデアはコンペティションが進むにつれて継続して重要になることを覚えておいてください。

• 基礎:
  基礎は、機械学習における他のすべての要素の土台となる古典的なコアを確立します。これには、サポートベクターマシン、ロジスティック回帰、決定木、カーネルなどのモデルがどのように機能するか、およびそれらをどのように手計算で導き出すかの理解が含まれます。これらの概念をマスターすることは、より高度なトピックを理解するために不可欠です。
  • 線形モデル: 線形回帰、ロジスティック回帰、決定境界
  • サポートベクターマシン: 最大マージン分類器、カーネルトリック
  • 決定木: 分割基準、エントロピー、情報利得
  • 損失関数: \(L(\hat{y}, y)\) (予測がどれほど間違っているかを測定する)
  • 勾配: \(\nabla_\theta L(\theta)\) (損失の最も急激な増加方向)


• 最適化と汎化:
  この領域では、マシンが実際にどのように学習するかを扱います：勾配降下法、損失ランドスケープ、正則化、および訓練データを単に記憶しただけのモデルがなぜ新しいデータに汎化できないのか、などです。これらの概念により、モデルがなぜうまく学習するのか、あるいはうまくいかないのかを論理的に考えることができます。
  • 勾配降下法: \(\theta \leftarrow \theta - \eta \nabla_\theta L(\theta)\) (損失を減らすためのパラメータの更新)
  • バイアスとバリアンスのトレードオフ: アンダーフィッティングとオーバーフィッティングのバランス
  • 正則化: \(L(\theta) + \lambda \lVert \theta \rVert^2\) (汎化性能を向上させるために複雑さにペナルティを課す)
  • 交差検証: 未知のデータに対してモデルがどのように機能するかを推定する
  • オーバーフィッティング: モデルが訓練データには適合するが、新しいデータでは失敗する場合


• ディープラーニング:
  ディープラーニングは、学習された表現の層から構築されるアーキテクチャを扱います。誤差逆伝播法、畳み込みネットワーク、リカレントネットワーク、およびTransformerを理解することは、現代のモデルがどのようにデータを処理し、そこから学習するかを説明するのに役立ちます。
  • 誤差逆伝播法: \(\frac{\partial L}{\partial \theta_i} = \frac{\partial L}{\partial y}\frac{\partial y}{\partial \theta_i}\) (ネットワークを通じて適用される連鎖律)
  • 活性化関数: ReLU、sigmoid、softmax、および非線形性がなぜ重要なのか
  • 畳み込みネットワーク: 画像などの空間データのための学習済みフィルタ
  • リカレントネットワーク: 隠れ状態を順方向に保持することによるシーケンスの処理
  • Attention & Transformers: 入力のどの部分が出力に対して重要であるかの重み付け


• Frontier Models:
  Frontier Modelsは、この分野の現在の研究の最前線をカバーしています：大規模言語モデル、ファインチューニング、Retrieval-Augmented Generation、および大規模モデルのデプロイを可能にする効率化技術などです。スケール、適応、および効率性を理解することは、今日の最大規模のモデルがなぜそのように振る舞うのかを説明する助けとなります。
  • 大規模言語モデル: 大規模コーパスでの事前学習、次トークン予測
  • ファインチューニング: 事前学習済みモデルを特定のタスクやドメインに適応させること
  • パラメータ効率の良いファインチューニング: LoRAやアダプターのように、少数の追加パラメータを訓練することでモデルを適応させること
  • Retrieval-Augmented Generation: モデルを外部の知識ソースと組み合わせること
  • 量子化: メモリ使用量を減らすために、より少ないビット数で重みを保存すること
  • 蒸留: より大きなモデルを模倣するように小さなモデルを訓練すること


• アプリケーション:
  アプリケーションは、機械学習の手法が実務でどこに適用されるかを扱います：コンピュータビジョン、自然言語処理、ヘルスケア、レコメンダーシステム、および科学的発見などです。同じ基礎的な手法がどのようにデプロイされたシステムに変換されるかを理解することは、理論と現実世界への影響を結びつけるのに役立ちます。
  • コンピュータビジョン: 画像分類、物体検出、セグメンテーション
  • 自然言語処理: テキスト分類、翻訳、質問応答
  • レコメンダーシステム: ユーザーが次に何を欲しがる可能性が高いかを予測する
  • ヘルスケアへの応用: 診断支援、リスク予測、画像診断
  • 評価指標: 適合率（Precision）、再現率（Recall）、正解率（Accuracy）、およびそれぞれが誤解を招く場合
  • クラス不均衡: なぜ正解率（Accuracy）だけではモデルの品質の不適切な指標になり得るのか


• Trustworthy AI:
  Trustworthy AIは、モデルがどのように失敗するか、どのように攻撃され得るか、および責任あるデプロイに何が求められるかを扱います。堅牢性、公平性、およびアライメントを理解することは、理論上は優れた性能を示すモデルが、なぜ実務において害を及ぼし得るのかを説明する助けとなります。
  • 敵対的サンプル: モデルを欺くための、巧妙に細工された小さな入力の変化
  • 堅牢性: 分布の変化や攻撃に対してモデルがどの程度耐えられるか
  • 公平性: モデルの誤りがグループ間で不均等に分布していないか
  • アライメント: モデルの振る舞いが設計者の意図と一致しているか
  • 解釈可能性: モデルがなぜ特定の出力を生成したのかを理解すること

さらに、Pre-Final Roundでは、監督付き試験に備えて学習するための最近の研究論文が与えられます。Final Examには、Pre-Final RoundやQualification Roundの前の問題（例：研究論文）に関連する質問が含まれることもあります。IMLC が他のコンペティション形式とどのように異なり、何を期待すべきかをよりよく理解するために、このページを確認することをお勧めします。

• IMLC について ↗ (IMLC が他のコンペティションとどのように異なり、何を期待すべきか。)

📖 おすすめの書籍

ほとんどの入門的な機械学習、統計学、およびディープラーニングの教科書は有用であり、問題に取り組むために必要な情報が含まれています。参考に、以下の推奨書籍リストをご覧ください。

• 機械学習の基礎:
• Stuart Russell and Peter Norvig. Artificial Intelligence: A Modern Approach. Pearson.
• Christopher M. Bishop. Pattern Recognition and Machine Learning. Springer.
• Kevin P. Murphy. Probabilistic Machine Learning: An Introduction. MIT Press.
• Aurélien Géron. Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow. O'Reilly Media.
• Shai Shalev-Shwartz and Shai Ben-David. Understanding Machine Learning: From Theory to Algorithms. Cambridge University Press.


• 統計的学習:
• Gareth James, Daniela Witten, Trevor Hastie, and Robert Tibshirani. An Introduction to Statistical Learning. Springer.
• Trevor Hastie, Robert Tibshirani, and Jerome Friedman. The Elements of Statistical Learning. Springer.


• ディープラーニング:
• Ian Goodfellow, Yoshua Bengio, and Aaron Courville. Deep Learning. MIT Press.
• Christopher M. Bishop and Hugh Bishop. Deep Learning: Foundations and Concepts. Springer.
• Simon J.D. Prince. Understanding Deep Learning. MIT Press.
• François Chollet. Deep Learning with Python. Manning Publications.
• Aston Zhang, Zachary C. Lipton, Mu Li, and Alexander J. Smola. Dive into Deep Learning. Cambridge University Press.


• 機械学習のための数学:
• Marc Peter Deisenroth, A. Aldo Faisal, and Cheng Soon Ong. Mathematics for Machine Learning. Cambridge University Press.
• Gilbert Strang. Introduction to Linear Algebra. Wellesley-Cambridge Press.
• Dimitri P. Bertsekas and John N. Tsitsiklis. Introduction to Probability. Athena Scientific.
• Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference. Springer.
• Stephen Boyd and Lieven Vandenberghe. Convex Optimization. Cambridge University Press.


• 自然言語処理、ビジョン、および強化学習:
• Daniel Jurafsky and James H. Martin. Speech and Language Processing. Pearson.
• Richard Szeliski. Computer Vision: Algorithms and Applications. Springer.
• Richard S. Sutton and Andrew G. Barto. Reinforcement Learning: An Introduction. MIT Press.