DeepSeek V4論文：公式レポートから読み解く主要な技術的発見

DeepSeek V4技術論文のサマリー：ハイブリッドアテンション（CSA+HCA）、mHC、Muonオプティマイザー、2段階ポストトレーニングなど主要な発見を詳しく解説。

by Framia

DeepSeek V4論文：公式レポートから読み解く主要な技術的発見

DeepSeekは2026年4月24日、モデルの重みと共にDeepSeek V4の完全な技術レポートを公開しました。*「DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence」*と題されたこの文書は、モデルのアーキテクチャ、学習手法、評価結果を網羅した本格的な学術論文です。

本記事では、研究者・エンジニア・技術に関心を持つ実務家のために、最も重要な技術的発見をまとめます。

論文概要

タイトル： DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence
著者： DeepSeek-AI
年： 2026年
入手先： huggingface.co/deepseek-ai/DeepSeek-V4-Pro（リポジトリ内の DeepSeek_V4.pdf）

本論文はV4シリーズ——DeepSeek-V4-Pro（1.6T / アクティブ49B）とDeepSeek-V4-Flash（284B / アクティブ13B）——を紹介し、三つの主要なイノベーションを詳述しています：ハイブリッドアテンションアーキテクチャ、mHC（多様体拘束ハイパーコネクション）、そしてMuonオプティマイザーです。

発見1：100万トークンコンテキストの課題とその解決策

本論文の中心的な貢献は、100万トークンのコンテキストを理論的に可能なだけでなく、実用的なものにするという課題を解決したことです。

問題点： 標準的なアテンション機構はシーケンス長に対して二次的にスケールします。100万トークンでは標準的なアテンションは以下の問題を引き起こします：

  • トークンあたりの計算量が桁違いに増加する
  • KVキャッシュのメモリが現実的でない規模になる

解決策——ハイブリッドアテンションアーキテクチャ： 二つの補完的なアテンション機構を組み合わせることを提案しています：

圧縮スパースアテンション（CSA）：

  • トークン単位のキー・バリュー圧縮を適用
  • 直近および関連するトークンの高い忠実度を維持
  • 中程度の距離のコンテキストに対するアテンションのオーバーヘッドを削減

重度圧縮アテンション（HCA）：

  • 遠距離トークンに対してより積極的な圧縮を適用
  • 遠い過去のコンパクトな表現を実質的に生成
  • 最小限のコストで非常に長い範囲を「記憶」することを可能にする

定量的な結果： 100万トークンのコンテキスト設定において、V4-ProはDeepSeek-V3.2と比較して、単一トークン推論FLOPsのわずか27%、KVキャッシュの**10%**しか必要としません。これが本論文の最も重要な実用的貢献です。

発見2：多様体拘束ハイパーコネクション（mHC）

深いトランスフォーマーにおける標準的な残差接続は、ネットワークの深さが増すにつれて勾配の劣化を引き起こすことがあります。本論文はこれに対処するためにmHCを導入しています。

イノベーション： mHCは重みの更新をリーマン多様体——滑らかな幾何学的空間——上に拘束します。これにより：

  • 層間のシグナル伝播が強化される
  • 非常に深いネットワークにおける勾配の爆発・消失を防ぐ
  • 安定性を向上させながらモデルの表現力を保持する

実用的な効果： mHCは1.6兆パラメータでの安定した学習を可能にします。この安定性の向上がなければ、ハイブリッドアテンションアーキテクチャでそのパラメータ数までスケールすることははるかに困難だったでしょう。

発見3：Muonオプティマイザー

本論文では、標準的なAdamWベースの学習に代わるMuonオプティマイザーの採用について詳述しています。

Muonは勾配更新を直交化することで機能します——更新方向間の相関を除去します：

  • 勾配ステップがより独立したものになる
  • 収束が速くなる：モデルが学習ステップごとにより多くを学ぶ
  • 非常に大規模なスケールで学習がより安定する

32T以上の多様なトークンによる事前学習と組み合わせることで、Muonは世界的知識、コード、数学、科学、多言語テキストにわたって強力なカバレッジを持つモデルを生み出します。

発見4：2段階ポストトレーニングパイプライン

本論文のより新規性の高い貢献の一つが、ポストトレーニングの方法論です：

ステージ1：独立エキスパートの育成

  • 各MoEエキスパートは専門ドメインで独立して学習される
  • SFT（教師ありファインチューニング）+ GRPO（グループ相対方策最適化）によるRLを使用
  • 各エキスパートが深く狭い専門性を発展させる

ステージ2：統合モデルの統合

  • オンポリシー蒸留により、多様なエキスパートの専門性を単一モデルに統合
  • 最終モデルは別々のモデルを切り替えることなく全ドメインの専門知識にアクセス可能

このパイプラインにより、V4-Proが非常に異なるタスクタイプで同時に異常に高いパフォーマンスを示す理由が説明されます——深い世界知識AND最先端コーディングAND長コンテキスト検索。

発見5：MoEアーキテクチャの詳細

本論文ではMoE実装について詳しく説明しています：

V4-Proエキスパート構成：

  • 全エキスパートにわたる総パラメータ数1.6T
  • トークンあたり49Bが活性化
  • ルーターが学習済みルーティング重みを使用してトークンごとに関連エキスパートを選択
  • エキスパートパラメータはFP4精度で保存（他のほとんどの重みはFP8）

V4-Flash：

  • 総284B / アクティブ13B
  • 同じアーキテクチャのイノベーションをより小さなスケールで実現
  • 同じFP4 + FP8混合精度スキームを使用

本論文では、V4-FlashはV3.2（671B / 37B）より小さいにもかかわらず、ほとんどのベンチマークで同等またはそれ以上のパフォーマンスを達成しており、新しいアーキテクチャからの効率性向上を実証していると指摘しています。

発見6：ベースモデルの評価

本論文は広範なベースモデル（事前命令チューニング）のベンチマーク結果を提供し、V4-Proの能力が事前学習から強く発現していることを示しています：

主なベースモデル結果（V4-Pro-Base vs V3.2-Base）：

  • MMLU：90.1% vs 87.8%（+2.3pp）
  • MMLU-Redux：90.8% vs 87.5%（+3.3pp）
  • Simple-QA検証済み：55.2% vs 28.3%（+26.9pp — 大幅な向上）
  • HumanEval：76.8% vs 62.8%（+14pp）
  • LongBench-V2：51.5% vs 40.2%（+11.3pp）

Simple-QA検証済みの大幅な向上（+26.9pp）は特に注目に値します——ベースモデルレベルでの世界知識の基盤に関する根本的な改善を示しています。

発見7：3モード推論システム

本論文では、3モード推論フレームワークを第一級のアーキテクチャ機能として導入しています：

Non-think（非思考）： モデルが明示的な思考の連鎖なしに直接回答を生成
Think High： 予算化されたトークン割り当てによる制御された思考プロセス
Think Max： 特別なシステムプロンプトによる拡張推論。384K以上のトークンのコンテキストヘッドルームが必要

本論文では、Think Maxが困難な推論ベンチマークにおけるクローズドソースの最前線モデルとのギャップを大幅に縮小することを示しており——パラメータ数だけでなく推論の深さが、複雑なタスクにおけるパフォーマンスの重要な決定要因であることを示唆しています。

発見8：エージェント的パフォーマンス

本論文では、DeepSeekのエージェント機能への注力を強調し、以下の強力な結果を報告しています：

  • SWE-bench検証済み：80.6%（Gemini-3.1-Proと同等、Claude Opus 4.6にほぼ匹敵）
  • Terminal Bench 2.0：67.9%（最良のオープンモデルと競合）
  • MCPAtlas：73.6%（SOTAに近い）

本論文では、Claude Code、OpenClaw、OpenCodeとの統合が第一級のサポートされたデプロイメント環境として記載されています。

引用

学術的な使用のために：

@misc{deepseekai2026deepseekv4,
  title={DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence},
  author={DeepSeek-AI},
  year={2026},
}

まとめ

DeepSeek V4技術レポートは、分野を真に前進させる密度の高い高品質な学術文書です。その核心的な貢献——ハイブリッドアテンション（CSA + HCA）、mHC、2段階ポストトレーニングパイプライン——は、より広いAI研究コミュニティが研究し発展させることができる具体的で再現可能なイノベーションです。Framia.proのような最先端AIモデルを活用するプラットフォームは、こうした論文に記録されたアーキテクチャの進歩から直接恩恵を受け、エコシステム全体で機能向上とコスト削減を実現しています。