>

TOKEN 工厂 · 算力技术体系全景

纳管 — 调度 — 训推加速 · 五层架构 × 双维度归因 × 存储/网络横切轴

0系统架构层
0技术路线
0底层加速项
0厂商全景
0创新路线

M1 · 五层系统架构 — 点击层级展开情报

定位

屏蔽 GPU / 国产 NPU / x86 差异，资源统一台账、隔离、切片，完成异构算力池化（纳管 ≠ 调度）

技术路线

  • K8s 原生 AI 增强纳管
  • vGPU 细粒度切片（HAMi）
  • 跨多机房并网纳管
  • 国产芯片适配底座
  • AI 推理专用存储底座

代表厂商

  • 新华三：跨地域智算并网
  • 硅基流动 · HAMi：单卡切片
  • 星辰天合 + Weka / DDN / Cloudian

痛点

国产芯片缺标准化设备插件；跨地域并网台账不一致、权限复杂

定位

硬件资源维度调度：任务跑在哪张卡、哪台机器；覆盖混部、容错、CXL、网络感知

技术路线

  • 训推分时混部调度
  • 故障自愈 & 任务迁移
  • CXL 内存池化调度
  • RoCE / IB 拓扑感知调度

代表厂商

  • 基流科技：三条路线全覆盖
  • 百度百舸：班车调度 + 故障自愈
  • 英伟达 NCCL：通信事实标准

痛点

训练抢占推理资源致时延抖动；CXL 生态未成熟；国产缺 NCCL 级替代

定位

调度每一条用户请求而非硬件：决定 Token 吞吐、TTFT、长上下文能力，是 Token 工厂核心壁垒

技术路线

  • Prefill-Decode 分离（含 Semi-PD 半分离）
  • KV-Cache 全局缓存调度
  • MoE 专家负载均衡
  • 长短文本请求分流
  • 训推请求隔离

代表厂商

  • 趋境科技：Mooncake 发起方
  • 无问芯穹：跨集群 PD 分离
  • DeepLink：异构 PD 分离

痛点

PD 分离架构复杂度高；分布式 KV-Cache 加剧带宽压力；MoE 专家倾斜

定位

聚焦「模型权重如何高效产出」的训练计算与系统优化，按「权重生产 → 请求编排 → 在线服务」与前后章分工

技术路线

  • 5D 分布式并行训练
  • 内存优化训练（ZeRO）
  • 国产芯片训练编译优化
  • 后训练全链路优化

代表厂商

  • 潞晨科技 Colossal-AI
  • 英伟达 Megatron-Core
  • 商汤大装置：万卡国产集群

痛点

国产 NPU 5D 并行改造成本高；多型号混训通信兼容难

定位

聚焦「已有权重如何高速产出 Token」的引擎/量化/分布式/编译/端云协同，按三段式与前后章分工

技术路线

  • 高性能推理引擎内核（含 NVIDIA Dynamo）
  • 多精度量化推理
  • 分布式推理 TP / PP / RP
  • 国产异构推理编译
  • 端云协同推理

代表厂商

  • NVIDIA Dynamo：GPU/CPU/内存/网络整体编排
  • AIBrix：字节开源云原生推理平台
  • 硅基流动：自研引擎吞吐 3-5×

痛点

国产推理算子生态不完善；量化存在精度损失；异构编译适配量大

横切加速轴

存储/网络层横切加速：以高性能并行文件系统 / 对象存储（Weka、DDN、Cloudian）、向量数据库（Pinecone）、智能网卡 / DPU 加速 KV-Cache 与训练语料 IO，解决长上下文与海量并发下的数据供给瓶颈。该轴不作为独立层，而是贯穿纳管（存储底座）、调度（CXL 池化）、推理（KV 卸载）的横向能力，与「芯片硬件侧 / 模型算法侧」双归因轴并列，构成「五层 + 三轴」完整框架。

M2 · 双维度加速归因 — ■ 芯片硬件侧 / ■ 模型算法侧

芯片专用 AI 计算单元

Tensor Core / 国产 AI 核硬件化矩阵算子，算力密度倍增

芯片硬件混合精度

FP8 / BF16 原生指令，无损收敛前提下降本提速

芯片高速互联通信

NVLink / CXL / RoCE + NCCL，压低跨卡通信延迟

芯片算子编译适配

融合、切块、重排，把芯片算力真正释放出来

芯片CXL 显存池化

跨节点内存池化，突破单卡显存物理上限

算法MoE 稀疏训练

稀疏激活机制，万亿参数模型高效预训练

算法模型蒸馏

大模型指导小模型，垂类轻量化快速量产

算法梯度稀疏更新

累积 / 稀疏化 / 选择性更新，剔除无效迭代

算法注意力机制优化

FlashAttention / 稀疏注意力，击穿 O(n²) 复杂度

算法DPO 后训练

直接偏好优化替代 PPO，简化对齐训练链路

芯片专用推理单元

硬化矩阵乘 + 高带宽 HBM，加速 KV 读写

芯片硬件低精度量化

FP8 / INT4 原生执行：算力翻倍、显存减半

芯片硬件级 KV 缓存

片上 SRAM / HBM / CXL 池化 + 外置存储池

芯片算子图优化

算子融合、内存复用、动态 Shape 适配

芯片高速互联底座

NVLink / CXL / RoCE 支撑 TP/PP/RP 与 PD 分离

算法量化压缩

AWQ / GPTQ / SmoothQuant，精度与速度精细平衡

算法蒸馏轻量化

低时延高并发，适配边缘与高 QPS 短请求

算法MoE 稀疏推理

专家路由优化 + 动态激活，超大模型低成本服务

算法投机解码

小模型预生成 + 大模型校验，显著降低 TTFT

算法上下文精简

窗口压缩 / 滑动窗口 / Prefix Cache 前缀复用

算法批处理调度

连续批处理 + 长短请求分流，榨干空闲算力

M3 · 厂商定位矩阵 — 27 家 · 9 大阵营

▸ 点击厂商芯片展开核心能力情报卡 ｜ 虚线框 = 待核实

M4 · 洞察带 — 创新 × 痛点 × 趋势

芯片硬件定性能上限 · 模型算法定成本下限 · 工程架构整合落地