Podcast

Écoutez cet article en audio

Les datacenters IA gaspillent une puissance colossale. Les GPUs, pourtant coûteux, tournent souvent à seulement 20-30% de leur capacité car ils attendent les données au lieu de calculer. Ce goulot d'étranglement ralentit l'ensemble de l'infrastructure.

DeepSeek vient de publier un papier révolutionnaire sur Dual Path, une nouvelle approche qui optimise drastiquement l'utilisation des ressources existantes.

Le problème réside dans le fonctionnement des LLM : la phase de Prefield (lecture du prompt) sature les GPUs, tandis que la phase de Décode (génération de la réponse) les laisse presque inactifs. Avec l'émergence de l'IA agentique, où les contextes s'accumulent sur des centaines d'itérations, le système de cache (KVCache) devient un nouveau goulot d'étranglement.

Dual Path apporte une solution élégante : permettre aux machines de décode d'aller chercher elles-mêmes les données sur le stockage, en parallèle des machines de prefield. En mutualisant la bande passante réseau de tout le cluster, DeepSeek atteint des résultats impressionnants : l'utilisation des machines passe de 40% à 80%, le débit d'inférence double et le premier token arrive 56% plus vite.

Une prouesse d'ingénierie logicielle qui démontre que l'optimisation de l'infrastructure peut rivaliser avec la puissance brute du matériel.