d-Matrix a levé le voile sur Raptor à Hot Chips 2026, une carte d’accélération qui empile une puce logique 4 nm directement sur une DRAM 3D personnalisée. La promesse : plus de 100 téraoctets par seconde de bande passante mémoire pour l’inférence générative, à seulement 0,37 picojoule par bit.
Architecture physique : logique 4 nm collée face-à-face sur DRAM 3D
La configuration présentée combine une puce de calcul gravée chez TSMC en N4 et une DRAM personnalisée, reliées par microbump à un pas de 36 micromètres. Le positionnement « logique au-dessus » permet de diriger la dissipation thermique vers la face logique, ce qui facilite l’adoption d’un refroidissement liquide et limite la température de jonction de la mémoire.
Cette topologie supprime l’interposeur habituel et l’interface physique mémoire consommant beaucoup d’énergie. Le recours au collage face-à-face réduit les longueurs d’interconnexion et augmente la densité d’entrées/sorties par surface, facteur clé pour obtenir des débits très élevés.
Sur le plan manufacturier, la combinaison d’un die logique en 4 nm et d’une DRAM sur mesure nécessite des procédés de mise en paquet avancés et un contrôle strict du rendement. d-Matrix a présenté du silicium fonctionnel à Hot Chips, preuve que l’intégration est viable au-delà de la simulation.
Les choix techniques montrent que la conception vise à équilibrer performances, efficacité énergétique et refroidissement opérationnel pour les centres de données modernes.
Bande passante et efficacité : 100+ To/s à 0,37 pJ/bit, six fois moins qu’une HBM3
d-Matrix annonce que chaque carte Raptor offre plus de 100 To/s de bande passante mémoire pour 32 Go de DRAM 3D, avec un coût énergétique de 0,37 picojoule par bit. Sur la base des slides présentés, cela représente un facteur d’économie d’énergie d’environ six par rapport à une HBM3 reliée via interposeur.
La densité d’E/S par mm2 et l’efficacité énergétique en mW/GB/s mettent Raptor nettement au-dessus des solutions HBM contemporaines selon les chiffres fournis par l’entreprise. Ces gains résultent principalement de la suppression des interfaces longues et du chemin d’interconnexion raccourci entre logique et DRAM.
En pratique, l’amélioration énergétique se traduit par une réduction significative de la puissance totale consommée pour un même débit d’inférence, ce qui intéressera les opérateurs de centres de données soucieux du TCO et de la consommation électrique.
Il convient de rappeler que ces chiffres proviennent des mesures et comparaisons internes de d-Matrix, présentées à Hot Chips, et qu’ils devront être validés en déploiement à grande échelle.
Performances d’inférence : 4,71× sur modèles génératifs vs HBM, 2,44× vs SRAM
Lors de la démonstration, d-Matrix a comparé Raptor à deux configurations de référence : une carte fondée sur HBM et une solution à base de SRAM. Pour divers modèles génératifs, Raptor a montré un débit d’inférence supérieur de 4,71 fois par rapport à la configuration HBM de référence, et de 2,44 fois face à la référence SRAM.
Ces gains de débit s’expliquent par la bande passante très élevée et la latence réduite associée à l’accouplement face-à-face. L’approche rend la mémoire proche du moteur de calcul, ce qui diminue les goulots d’étranglement pour les charges de travail d’IA à forte intensité mémoire.
Les tests couvrent plusieurs architectures de modèles génératifs courantes, avec des métriques de tokens/s et des profils de consommation. d-Matrix a fourni des courbes comparatives pendant la conférence, montrant des gains systématiques sur des tâches de génération de texte et de transformations multimodales.
Les résultats sont significatifs pour les applications temps réel ou à latence contrainte, où la bande passante et l’efficacité énergétique dictent le dimensionnement des fermes d’inférence.
Limite évidente : capacité restreinte à 32 Go face aux 192 Go d’une HBM4
Le compromis principal est la capacité mémoire. Chaque carte Raptor offre 32 gigaoctets, contre typiquement 192 gigaoctets pour une pile HBM4. Pour les modèles très larges ou les instances nécessitant un grand espace de poids, la capacité réduite impose une réflexion sur l’architecture système.
Concevoir des fermes d’inférence avec Raptor implique soit une distribution plus fine des modèles, soit des stratégies de partitionnement et sharding des poids. Cela peut accroître la complexité logicielle et le trafic réseau entre cartes pour maintenir l’échelle.
En contrepartie, la bande passante supérieure et l’efficacité énergétique permettent de compenser la moindre capacité sur des charges optimisées ou segmentées. Les gains apportés par Raptor rendent viables des scénarios où la latence et la facture énergétique dominent les besoins bruts de capacité.
Les opérateurs devront évaluer le ratio performance/Go et la modularité logicielle avant d’adopter ce type de carte pour leurs pipelines d’inférence générative.
