大規模言語モデルをゼロから手を動かして学ぶ!全11章の実践チュートリアル — dive-into-llms

Lordog/dive-into-llmsJupyter Notebook30.2k

dive-into-llmsは、大規模言語モデル(LLM=人間のように文章を生成できるAI)を実際にプログラムを動かしながら学べる無料の教育教材です。上海交通大学の講義をもとに作られており、モデルの微調整(性能を特定の目的に合わせて調整する作業)からセキュリティまで幅広いテーマを全11章でカバーしています。各章にはスライド資料・解説・実行可能なノートブック(Jupyter形式のプログラム実行環境)が揃っており、初心者でもステップバイステップで進められます。さらに華為(ファーウェイ)と連携した国産ハードウェア対応版の追加コースも公開されており、中国語圏の開発者に特に人気を集めています。学生や研究者がAI大規模モデルの最新技術を体系的に学びたい場合に最適な教材です。

🔥 なぜ話題?

ChatGPTやDeepSeekなどの大規模言語モデルが世界的に注目を集める中、理論だけでなく手を動かして学べる体系的な無料教材への需要が急増しています。特に数学推理やGUIエージェント、RLHF(人間のフィードバックを使った強化学習)による安全対策など最新トピックが2025年6月に追加されたことで、再び注目が集まっています。

💡 こう使える!

例えば、大学の研究室に配属されたばかりの学生が「ChatGPTのようなAIモデルを自分のデータで動かしてみたい」と思ったとき、第1章の『微調整と部署』チュートリアルを使えば、既存のモデルを自分の用途に合わせてカスタマイズし、簡単なデモアプリとして動かすところまでを一通り体験できます。

ユースケース: 大規模言語モデル(LLM)の仕組みや応用技術を、実際にコードを動かしながら体系的に学びたい学生・研究者・エンジニア向けの学習教材として使えます。

  • 全11章にわたりLLMの微調整・プロンプト学習・知識編集・数学推理・セキュリティなど幅広いテーマをカバー
  • 各章にスライド・解説ドキュメント・実行可能なJupyterノートブックの3点セットが完備
  • 越狱攻撃(AIの安全制限を突破する攻撃手法)やRLHF安全対策など、AIセキュリティの実践テーマも充実
GitHubで見る →

《动手学大模型Dive into LLMs》系列编程实践教程

技術情報

言語

Jupyter Notebook

最終更新

2025-10-10

スター数

30,245

フォーク数

3,664

Issue数

8

技術詳細

教程の全11章カリキュラム

  1. 微調整と部署(Fine-tuning & Deployment): 事前学習済みモデルの微調整から、デモアプリとしての公開まで
  2. プロンプト学習と思考の連鎖(Prompting & Chain-of-Thought): API経由でのLLM活用と、回答精度を高める手法
  3. 知識編集(Knowledge Editing): モデルが記憶している知識を狙って書き換える技術
  4. 数学推理: LLMに数学的推論能力を持たせる方法(ミニR1の蒸留実験)
  5. モデル透かし(Watermark): AI生成テキストに人間には見えない電子透かしを埋め込む技術
  6. 越獄攻撃(Jailbreak Attack): LLMの安全制限を突破する攻撃手法の理解
  7. LLMステガノグラフィ(隠写術): モデルの回答に「見えないインク」のように秘密情報を埋め込む技術
  8. マルチモーダルモデル: テキストだけでなく画像も扱えるLLMの仕組みと実践
  9. GUIエージェント: AIがスマホやPCの画面を操作して外売注文やメッセージ返信を自動化
  10. エージェント安全: オープンなエージェント環境でのリスク認識と脅威検出
  11. RLHF安全アライメント: PPO(強化学習アルゴリズム)を使った人間フィードバックによるモデルの安全調整

教材形式

  • スライド(PDF): 各章の理論解説
  • 教程ドキュメント(README.md): ステップバイステップの解説
  • Jupyterノートブック(.ipynb): 実行可能なコード付き実験スクリプト

出典・背景

  • 上海交通大学の大学院講義「自然言語処理フロンティア技術」(NIS8021)および「人工知能安全技術」(NIS3353)の講義資料を拡張
  • 指導教員:張倬胜(上海交通大学)
  • 共同開発:華為(Huawei)昇腾(Ascend)コミュニティとの連携による国産ハードウェア対応版も公開

国産化対応コース「大模型開発全流程」

  • 華為昇腾の基盤ソフト・ハードウェア上で動作するよう設計
  • 初級・中級・上級の3段階構成
  • PPT、実験マニュアル、動画を含む
  • 昇腾コミュニティの学習専用ページで無料公開

ライセンス・利用条件

  • 公益性質のプロジェクトで完全無料
  • 内容は個人の経験・インターネット上のデータ・日常の研究蓄積に基づく
  • 正確性は100%保証されていない旨の免責事項あり
  • PR(改善提案)やIssue(質問・報告)を歓迎

対応言語・環境

  • 教材は中国語で記述
  • Pythonベースの実行環境(Jupyterノートブック)
  • 昇腾版は華為Ascendハードウェアに対応

参考になる外部の関連記事

関連リポジトリ

文章から絵を描くAI画家!テキスト一行で美麗イラストを自動生成 — stable-diffusion

CompVis/stable-diffusionJupyter Notebook72.5k

Stable Diffusionは、文章を入力するだけで高品質な画像を自動生成するAIツールです。「猫が宇宙を飛んでいる絵」のように日本語で説明すると、そのイメージ通りの絵をコンピューターが描いてくれ

Claudeを使い倒すための公式レシピ集!分類・要約・画像認識からツール連携まで — claude-cookbooks

anthropics/claude-cookbooksJupyter Notebook40.5k

claude-cookbooksは、AI「Claude」を使ったさまざまな活用法をコード付きで紹介する公式レシピ集です。テキスト分類、文章要約、画像の読み取り、外部ツールとの連携など、すぐにコピーして

AIへの「話しかけ方」を基礎から実践まで学べる公式チュートリアル — prompt-eng-interactive-tutorial

anthropics/prompt-eng-interactive-tutorialJupyter Notebook31.9k

prompt-eng-interactive-tutorialは、Anthropic社が提供するAIアシスタント「Claude」への指示の出し方(プロンプトエンジニアリング)を体系的に学べるインタラク

ChatGPTを賢くする技術集!情報検索×AI生成で正確な回答を実現 — RAG_Techniques

NirDiamant/RAG_TechniquesJupyter Notebook25.4k

RAG_TechniquesはAIチャットボットをもっと賢くするための技術集です。RAG(情報検索×AI生成の仕組み)の様々な手法を実際に試せるコード付きで紹介しています。ChatGPTのようなAIが

300点の図解で学ぶ!プログラマーでも挫折しないLLM入門書の完全ガイド — Hands-On-Large-Language-Models

HandsOnLLM/Hands-On-Large-Language-ModelsJupyter Notebook22.7k

Hands-On-Large-Language-Modelsは、O'Reilly出版の書籍「Hands-On Large Language Models」の公式コードリポジトリです。ChatGPTのよ