Article DeepSeek V4 : Principales découvertes techniques du rapport officiel
DeepSeek a publié le rapport technique complet de DeepSeek V4 le 24 avril 2026, en même temps que les poids du modèle. Intitulé « DeepSeek-V4 : Towards Highly Efficient Million-Token Context Intelligence », il s'agit d'un document académique exhaustif couvrant l'architecture du modèle, la méthodologie d'entraînement et les résultats d'évaluation.
Cet article résume les découvertes techniques les plus importantes pour les chercheurs, les ingénieurs et les praticiens techniquement curieux.
Présentation du rapport
Titre : DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence
Auteurs : DeepSeek-AI
Année : 2026
Disponible sur : huggingface.co/deepseek-ai/DeepSeek-V4-Pro (dans les fichiers du dépôt sous DeepSeek_V4.pdf)
Le rapport présente la série V4 — DeepSeek-V4-Pro (1,6T / 49B actifs) et DeepSeek-V4-Flash (284B / 13B actifs) — et détaille trois innovations majeures : l'architecture Hybrid Attention, mHC (Manifold-Constrained Hyper-Connections) et l'optimiseur Muon.
Découverte 1 : Le problème du contexte à 1 million de tokens et sa solution
La contribution centrale du rapport est de résoudre le défi de rendre un contexte d'un million de tokens pratiquement utilisable — et pas seulement théoriquement possible.
Le problème : Les mécanismes d'attention standard évoluent de façon quadratique avec la longueur de la séquence. À 1 million de tokens, l'attention standard exigerait :
- Un volume de calcul par token supérieur de plusieurs ordres de grandeur
- Une mémoire de cache KV impraticablement volumineuse
La solution — l'architecture Hybrid Attention : Le rapport propose de combiner deux mécanismes d'attention complémentaires :
Compressed Sparse Attention (CSA) :
- Applique une compression clé-valeur au niveau du token
- Maintient une haute fidélité pour les tokens récents et pertinents
- Réduit la surcharge d'attention pour les contextes modérément distants
Heavily Compressed Attention (HCA) :
- Applique une compression agressive aux tokens très distants
- Crée essentiellement des représentations compactes de l'historique lointain
- Permet au modèle de « mémoriser » sur de très longs horizons à un coût minimal
Résultat quantifié : Dans le contexte à 1 million de tokens, V4-Pro ne nécessite que 27 % des FLOPs d'inférence par token unique et 10 % du cache KV par rapport à DeepSeek-V3.2. C'est la contribution pratique la plus significative du rapport.
Découverte 2 : Les Manifold-Constrained Hyper-Connections (mHC)
Les connexions résiduelles standard dans les transformers profonds peuvent souffrir de dégradation du gradient à mesure que la profondeur du réseau augmente. Le rapport introduit mHC pour y remédier.
L'innovation : mHC contraint les mises à jour des poids à rester sur une variété riemannienne — un espace géométrique lisse. Cela permet de :
- Renforcer la propagation du signal entre les couches
- Prévenir l'explosion/disparition du gradient dans les réseaux très profonds
- Préserver l'expressivité du modèle tout en améliorant la stabilité
Effet pratique : mHC permet un entraînement fiable à 1,6 billion de paramètres. Sans cette amélioration de la stabilité, monter à ce nombre de paramètres avec l'architecture Hybrid Attention serait considérablement plus difficile.
Découverte 3 : L'optimiseur Muon
Le rapport décrit en détail l'adoption de l'optimiseur Muon pour remplacer l'entraînement standard basé sur AdamW.
Muon fonctionne en orthogonalisant les mises à jour de gradient — en supprimant les corrélations entre les directions de mise à jour :
- Les pas de gradient deviennent plus indépendants
- La convergence est plus rapide : le modèle apprend davantage à chaque étape d'entraînement
- L'entraînement est plus stable à très grande échelle
Combiné à un pré-entraînement sur plus de 32T de tokens variés, Muon produit des modèles avec une couverture solide des connaissances générales, du code, des mathématiques, des sciences et du texte multilingue.
Découverte 4 : Pipeline de post-entraînement en deux étapes
L'une des contributions les plus novatrices du rapport est la méthodologie de post-entraînement :
Étape 1 : Formation indépendante des experts
- Chaque expert MoE est entraîné indépendamment dans son domaine de spécialisation
- Utilise le SFT (Supervised Fine-Tuning) + RL avec GRPO (Group Relative Policy Optimization)
- Chaque expert développe une compétence profonde et ciblée
Étape 2 : Consolidation du modèle unifié
- La distillation on-policy intègre les compétences variées des experts dans un modèle unique
- Le modèle final a accès à toutes les expertises de domaine sans avoir à basculer entre des modèles séparés
Ce pipeline explique pourquoi V4-Pro affiche simultanément des performances inhabituellement élevées sur des types de tâches très différents — connaissance du monde approfondie ET codage de pointe ET récupération en contexte long.
Découverte 5 : Détails de l'architecture MoE
Le rapport décrit en détail l'implémentation MoE :
Configuration des experts V4-Pro :
- 1,6T de paramètres totaux répartis entre tous les experts
- 49B activés par token
- Le routeur sélectionne les experts pertinents par token à l'aide de poids de routage appris
- Paramètres des experts stockés en précision FP4 (la plupart des autres poids en FP8)
V4-Flash :
- 284B total / 13B actifs
- Mêmes innovations architecturales mais à plus petite échelle
- Utilise le même schéma de précision mixte FP4 + FP8
Le rapport note que V4-Flash, malgré une taille inférieure à V3.2 (671B / 37B), atteint des performances comparables ou supérieures sur la plupart des benchmarks — démontrant les gains d'efficacité de la nouvelle architecture.
Découverte 6 : Évaluation du modèle de base
Le rapport fournit des résultats de benchmarks étendus sur le modèle de base (avant le réglage par instruction), établissant que les capacités de V4-Pro émergent fortement du pré-entraînement :
Principaux résultats du modèle de base (V4-Pro-Base vs V3.2-Base) :
- MMLU : 90,1 % vs 87,8 % (+2,3 pp)
- MMLU-Redux : 90,8 % vs 87,5 % (+3,3 pp)
- Simple-QA vérifié : 55,2 % vs 28,3 % (+26,9 pp — bond massif)
- HumanEval : 76,8 % vs 62,8 % (+14 pp)
- LongBench-V2 : 51,5 % vs 40,2 % (+11,3 pp)
Le bond sur Simple-QA vérifié (+26,9 pp) est particulièrement frappant — il indique des améliorations fondamentales dans l'ancrage des connaissances du monde au niveau du modèle de base.
Découverte 7 : Système d'inférence à trois modes
Le rapport introduit le cadre de raisonnement à trois modes en tant que fonctionnalité architecturale de premier ordre :
Non-think : Le modèle génère des réponses directes sans chaîne de pensée explicite
Think High : Un processus de réflexion contrôlé avec une allocation de tokens budgétisée
Think Max : Raisonnement étendu avec un prompt système spécial, nécessitant plus de 384K tokens de marge de contexte
Le rapport démontre que Think Max réduit significativement l'écart avec les modèles propriétaires de pointe sur les benchmarks de raisonnement difficiles — suggérant que la profondeur du raisonnement, et non seulement le nombre de paramètres, est un déterminant clé des performances sur les tâches complexes.
Découverte 8 : Performances agentiques
Le rapport met en avant l'accent mis par DeepSeek sur les capacités agentiques, avec de bons résultats sur :
- SWE-bench Verified : 80,6 % (égale Gemini-3.1-Pro, proche de Claude Opus 4.6)
- Terminal Bench 2.0 : 67,9 % (compétitif avec les meilleurs modèles ouverts)
- MCPAtlas : 73,6 % (proche du SOTA)
Le rapport mentionne également l'intégration avec Claude Code, OpenClaw et OpenCode comme environnements de déploiement officiellement supportés.
Citation
Pour usage académique :
@misc{deepseekai2026deepseekv4,
title={DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence},
author={DeepSeek-AI},
year={2026},
}
Conclusion
Le rapport technique DeepSeek V4 est un document académique dense et de haute qualité qui fait réellement progresser le domaine. Ses contributions fondamentales — Hybrid Attention (CSA + HCA), mHC et le pipeline de post-entraînement en deux étapes — sont des innovations concrètes et reproductibles que la communauté de recherche en IA peut étudier et sur lesquelles elle peut s'appuyer. Des plateformes comme Framia.pro, qui exploitent des modèles d'IA de pointe, bénéficient directement des avancées architecturales documentées dans ce type de publications, qui génèrent à la fois des améliorations de performance et des réductions de coûts à l'échelle de l'écosystème.