DeepSeek a mis en ligne DeepInfer, le framework d'inférence haute performance qui alimente ses services de production à grande échelle. La publication est open source sous licence Apache 2.0 et couvre l'inférence hors ligne avec les fonctions nécessaires pour servir un modèle en production.

Un seul modèle est pris en charge pour l'instant : DeepSeek-V4.1-Flash. Le framework tourne sur les GPU NVIDIA SM100 et sur les NPU Huawei Ascend 950.

Les détails

Ce que contient la publication

DeepInfer embarque des noyaux optimisés (FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect et des noyaux TileLang sur mesure) ainsi que le runtime du modèle et de l'échantillonneur. Côté parallélisme, la source cite l'attention DP avec CP équilibré et le MoE EP avec EPLB.

Le décodage s'appuie sur DSpark et une vérification planifiée par la confiance : des jetons brouillon accélèrent la génération et des estimations de confiance décident quand vérifier. La variable DEEPINFER_ENABLE_MTP_VARLEN=1 active ce mécanisme et DEEPINFER_USE_NEXTN_DECODE fixe la longueur maximale des brouillons (5 par défaut).

Le rejeu borné du décodeur SWA réduit le travail de prefill en ne rejouant qu'un suffixe limité. Pour les réglages V4.1 par défaut, la source indique DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compact et DEEPINFER_YOCO_PREFILL_KEEP_TOKENS=140, avec un suffixe conservé qui doit couvrir la fenêtre SWA plus la longueur maximale de retour arrière.

L'ordonnancement asynchrone, activé par défaut, fait chevaucher la planification des lots sur CPU et l'exécution sur l'accélérateur. L'inférence invariante au lot garde des résultats identiques quelles que soient les compositions de lots, via DEEPINFER_BATCH_INVARIANT=1 (NVIDIA uniquement). L'échantillonnage déterministe produit les mêmes sorties pour les mêmes jetons d'entrée et les mêmes paramètres, en combinant DEEPINFER_BATCH_INVARIANT=1 et DEEPINFER_ENABLE_MTP_VARLEN=0 avec une graine fixe passée à SamplingParams (NVIDIA uniquement). Les sorties structurées contraignent la génération à une expression régulière, un schéma JSON ou une grammaire EBNF, via so_args dans SamplingParams.

Ce qui manque encore

La publication ne suffit pas à monter un service complet. Il faut y ajouter un système de cache KV, la désagrégation VE/Prefill/Decode (dont l'essentiel du moteur est déjà implémenté selon la source), et l'équilibrage de charge entre réplicas data-parallel pour le prefill comme pour le decode.

Prérequis et mise en route

L'environnement doit être sous Linux, avec GCC 13.0 ou plus, Python 3.12, CUDA 13 côté NVIDIA et CANN 9.2 côté Ascend. La compilation se lance avec ./build.sh après avoir exporté DEEPINFER_ACCELERATOR=nvidia (ou ascend). Le point de contrôle par défaut, deepseek-ai/DeepSeek-V4.1-Flash-1017, se télécharge dans le cache Hugging Face au premier lancement. Pour partir d'une copie locale, la source mentionne la variable DEEPINFER_HF_MODEL_DIR pointant vers le répertoire du modèle. Un exemple d'inférence hors ligne est fourni dans examples/offline_inference.py.

Les mesures citées portent sur 4 GPU SM100 pour le prefill et 64 pour le decode, chaque ensemble restant dans un même domaine de mise à l'échelle. Le script run_sweep.sh permet de reproduire les benchmarks.

DeepInfer a d'abord été construit principalement sur vLLM, avec des emprunts à SGLang et TensorRT-LLM, que la source remercie.

Pourquoi c'est important

DeepSeek ne se contente plus de publier des poids de modèles : il ouvre le moteur qui les sert en production. Pour une équipe qui veut faire tourner DeepSeek-V4.1-Flash sur ses propres machines, cela donne accès aux mêmes optimisations que le fournisseur, sans avoir à réécrire un serveur d'inférence. Les noyaux et les mécanismes de décodage spéculatif sont exactement ceux qui font la différence de débit à grande échelle.

Le point à surveiller est le périmètre volontairement partiel. Cache KV, désagrégation et équilibrage de charge restent à la charge de l'exploitant. Mon hypothèse est que DeepSeek garde ces briques pour son infrastructure interne et laisse la communauté assembler le reste. Cela suggère aussi que la prise en charge d'Ascend 950 n'est pas anecdotique : le framework est pensé pour tourner sur du matériel non NVIDIA, ce qui compte pour les équipes soumises à des contraintes d'approvisionnement.

Les options d'invariance au lot et d'échantillonnage déterministe méritent une lecture attentive. Elles répondent à un problème concret des pipelines de test et d'évaluation, où deux exécutions du même prompt doivent donner le même résultat. Le fait que ces modes soient réservés à NVIDIA limite toutefois leur intérêt sur Ascend.

Source

• DeepInfer: High-performance inference framework for DeepSeek models · github.com (via Hacker News)

L'économie chinoise a progressé de 4,5 % au troisième trimestre, selon les données officielles publiées lundi par le National Bureau of Statistics. Ce chiffre marque un rebond après un plus bas de trois ans, porté par les exportations que stimule l'essor de l'intelligence artificielle. Il reste toutefois inférieur à la croissance de 5 % enregistrée entre janvier et mars.

Ce résultat se situe dans le bas de l'objectif annuel de Pékin, fixé entre 4,5 % et 5 %. Les analystes y voient une marge de manœuvre pour les décideurs face aux difficultés économiques du pays.

Les détails

Exportations et excédent commercial

La demande mondiale de puces et d'autres composants destinés aux centres de données d'IA a allégé la pression sur Pékin et amorti l'effet d'une consommation intérieure atone. Avec la hausse des exportations, l'excédent commercial chinois devrait dépasser le record de 1,2 billion de dollars atteint l'an dernier.

Sheana Yue, chercheuse chez Oxford Economics, attribue la croissance aux exportations manufacturières et technologiques, en dépit de la faiblesse de l'investissement et des dépenses des ménages.

Le secteur immobilier reste à la traîne

L'investissement dans l'immobilier a reculé de plus de 20 % sur les neuf premiers mois par rapport à la même période de l'an dernier. L'économie chinoise peine à sortir d'une longue crise du logement, conséquence d'années de surconstruction et d'un endettement excessif des promoteurs privés. Yue ne voit aucun signe d'une fin prochaine de cette tendance.

Les incertitudes commerciales et les tensions géopolitiques rendent aussi les consommateurs chinois plus « pessimistes » et moins enclins à dépenser, ajoute-t-elle.

Un soutien budgétaire sous tension externe

En septembre, Pékin a dévoilé une série de mesures de soutien, dont des taux d'intérêt réduits pour certaines entreprises et des subventions pour les acheteurs immobiliers. Le pays fait néanmoins face aux critiques des économies occidentales, États-Unis et Union européenne en tête, dont les industriels peinent à concurrencer le flux de biens chinois bon marché.

Des inquiétudes portent également sur les milliards de dollars investis dans les infrastructures d'IA et sur la capacité des entreprises concernées à tenir leurs promesses de profits élevés.

Pourquoi c'est important

Pour un développeur ou une équipe qui construit sur des composants d'IA, cette dépendance de la croissance chinoise aux exportations de puces et de matériel dessine un risque de chaîne d'approvisionnement. Si la demande mondiale ralentit ou si les tensions commerciales se durcissent, le moteur qui compense aujourd'hui la faiblesse intérieure pourrait caler. Mon hypothèse est que les investissements massifs dans les centres de données deviennent un point de vulnérabilité macroéconomique, pas seulement une question de calendrier de livraison.

La crise immobilière et la prudence des ménages pèsent sur la consommation intérieure, ce qui rend l'économie plus exposée aux chocs extérieurs. Cela reste à surveiller pour quiconque dimensionne des achats de matériel ou planifie des capacités de calcul sur plusieurs trimestres.

Source

• China's growth accelerates as AI export boom outweighs domestic weakness · BBC News

IEEE Educational Activities, avec le soutien de l'IEEE Computer Society, lance un programme de formation intitulé « AI Processor Architecture, Design Principles, and Performance ». Ce cursus de cinq cours couvre les principes fondamentaux de conception des processeurs IA jusqu'aux architectures avancées et au déploiement réel.

Le programme s'adresse aux architectes matériels, concepteurs de puces, développeurs de systèmes embarqués, ingénieurs de centres de données et à tous ceux qui veulent comprendre les forces architecturales qui façonnent l'accélération du machine learning moderne. Il se présente comme un pont entre la théorie et le raisonnement interdisciplinaire exigé dans les environnements d'ingénierie.

Les détails

Contenu des cinq cours

Le programme couvre : les principes fondamentaux de conception et de fonctionnement ; des aperçus pratiques des architectures avancées ; la compréhension des unités de traitement neuronal pour le déploiement industriel ; les tendances émergentes et l'évolution des architectures ; la conception pour l'edge, le cloud, le quantique et l'Internet des objets (IoT).

Les couches architecturales qui définissent le matériel IA contemporain sont abordées : unités de calcul, hiérarchies mémoire, flux de données et caractéristiques de performance découlant des décisions de conception. L'objectif affiché est que les apprenants puissent évaluer le comportement d'un processeur avec la précision analytique attendue des professionnels travaillant à la frontière de la conception matérielle IA.

Une approche par dialogues d'avatars

Le programme utilise une méthode d'apprentissage par dialogue : les apprenants regardent des conversations entre avatars générés par IA, qui incarnent des ingénieurs confrontés aux mêmes problèmes depuis des rôles différents. Un ingénieur matériel peut contester les exigences d'un ingénieur systèmes, révélant la friction entre contraintes physiques et ambition algorithmique. Un spécialiste de la validation computationnelle peut interroger l'optimisme d'un ingénieur en performance de puces. Un architecte de systèmes hétérogènes peut débattre des surcoûts de synchronisation avec un spécialiste de la coordination multiprocesseur.

Le dialogue est interrompu à des moments clés : l'apprenant doit trancher un compromis, prédire le résultat d'un choix de conception ou sélectionner la voie d'ingénierie la plus défendable. Dans le dernier cours, un architecte de systèmes IoT et un ingénieur en optimisation d'IA embarquée décortiquent le déploiement de l'IA dans des environnements contraints.

Un chiffre sur l'efficacité

Des recherches publiées en 2024 dans IEEE Transactions on Learning Technologies ont montré que l'instruction par avatars peut augmenter la confiance d'un apprenant jusqu'à 25 % et améliorer la rétention de matériel technique complexe.

Pourquoi c'est important

Pour un développeur ou une équipe qui travaille sur l'inférence ou l'entraînement, ce programme signale un déplacement du centre de gravité : la performance ne se joue plus seulement dans le modèle, mais dans l'interaction entre mémoire, unités de calcul et flux de données. Le texte source rappelle que le déplacement de données entre mémoire et processeur est devenu une limitation majeure de la performance IA — le « AI memory wall » — et que cela a réorienté l'innovation des semi-conducteurs vers des plateformes d'accélérateurs spécialisés.

Cela suggère que les compétences attendues évoluent : l'optimisation conjointe du matériel et des algorithmes réseau devient une pratique de base, avec des arbitrages explicites entre débit, latence et efficacité opérationnelle. Pour une équipe, la question n'est plus seulement « quel modèle ? » mais « quelle architecture matérielle, quelle hiérarchie mémoire, quel flux de données ? ».

Mon hypothèse : la partie la plus transposable pour un lecteur technique n'est pas le catalogue de cours, mais le format. Faire dialoguer des rôles aux contraintes opposées — matériel contre algorithmique, théorie contre comportement réel — modélise le type de négociation qui précède tout choix d'architecture. À surveiller : si ce type de contenu par avatars se diffuse, il pourrait devenir un standard de formation interne pour les équipes qui doivent aligner des profils très différents autour d'une même décision de conception.

Source

• Master AI Chip Principles With New IEEE Design Program · IEEE Spectrum