技术原理与规模口径
资料截至2026-10-14。本文是栏目的技术底座:先讲算力中心怎样工作,再讲规模数字怎样读。其他各篇涉及技术概念时都回到这里。芯片参数引自厂商官方规格;国产芯片的部分参数只有第三方分析,已单独注明。
一句话理解
算力中心是一座把电变成计算服务的工厂。电从电网进来,经过变配电和UPS送到服务器;芯片完成计算,消耗的电几乎全部变成热,再由冷却系统排走;软件把成千上万颗芯片组织成客户可以申请、使用和付费的资源。
这条链上每一环都可能卡住:电接不进来,设备装不上;散热跟不上,芯片要降频;网络慢,几千张卡互相等待;软件不兼容,客户的程序跑不起来;没有客户,设备再好也只是在折旧。后面各篇讨论的政策、选址和经济性,本质上都在处理这条链上的某一环。
三类算力中心按负载区分
数据中心是总称,指承载信息设备及其供电、制冷、网络配套的设施。通算、智算、超算按主要承载的计算负载区分,而不是按建筑区分;同一个园区可以同时提供三类服务。
| 通用计算(通算) | 智能计算(智算) | 高性能计算(超算) | |
|---|---|---|---|
| 典型任务 | 网站、数据库、企业系统、视频、大数据分析 | 大模型训练与推理、图像视频生成、推荐系统 | 气象、流体、结构、分子模拟、地震勘探 |
| 主力芯片 | CPU | GPU、NPU等AI加速芯片 | CPU为主,越来越多配GPU |
| 关键精度 | 整数与通用运算 | BF16、FP16、FP8等低精度 | FP64双精度 |
| 协作方式 | 大量互不相干的小任务 | 几十到上万张卡同步协作 | 大量节点用MPI协同求解 |
| 网络 | 普通以太网 | 极高带宽、低时延的专用计算网络 | 低时延高速网络 |
| 单柜功率(行业常见量级) | 4~8 kW | 20~40 kW;液冷整柜可超过100 kW | 视配置,高密机型同样需要液冷 |
| 常见计费 | 按柜、虚拟机、存储容量 | 按卡时、节点月、token | 按核时、卡时、机时 |
全国数标委2025年发布的《全国一体化算力网 算力中心能力评估要求》(TC609-6-2025-09)对这些名称有正式术语;它是行业技术文件,不是GB国家标准。
为什么AI需要GPU
神经网络的计算主体是矩阵乘法:成千上万次“乘了再加”,彼此独立,可以同时进行。
- CPU像少数几个全能工人:几十个核心,每个都能处理复杂逻辑和分支,适合流程繁杂的业务程序。
- GPU像上万个只会做简单活的工人:同时执行同一种简单运算,恰好适合矩阵乘法。
现代AI芯片还专门设计了矩阵运算单元(NVIDIA称Tensor Core,华为昇腾称Cube单元),一条指令就完成一小块矩阵的乘加,效率比普通计算单元再高一个量级。所以规格表上同一张卡会有“普通FP32”和“Tensor FP16”两套数字,相差十几倍。
另一项关键能力是显存(HBM高带宽内存)。模型参数和中间结果都放在显存里,算得再快,数据搬不过来也只能等。大模型推理尤其如此:每生成一个token都要把整套参数从显存读一遍,速度往往受显存带宽限制,而不是受计算峰值限制。
精度:用更少的位数换更快的速度
精度指一个数用多少位二进制表示。位数越少,同样的芯片面积和带宽能处理越多数据,峰值越高,但能表示的范围和精细程度下降。
| 格式 | 位数 | 主要用途 | 说明 |
|---|---|---|---|
| FP64 | 64 | 科学与工程计算 | 误差累积敏感的仿真必须用;多数AI芯片的FP64很弱 |
| FP32 | 32 | 通用浮点 | 早期AI训练的标准精度 |
| TF32 | 按32位存储,有效精度约19位 | Tensor单元上替代FP32 | 名字带“32”,实际走的是低精度矩阵路径 |
| BF16 | 16 | 大模型训练主流 | 范围与FP32相同、精细度较低,训练更稳定 |
| FP16 | 16 | 训练与推理 | 比BF16精细、范围小,需要配合缩放技巧 |
| FP8 | 8 | 新一代训练与推理 | 需要硬件和软件同时支持,并验证模型质量 |
| INT8、INT4 | 8、4 | 推理量化 | 整数运算,单位是OPS而非FLOPS |
规格表上的峰值还常带“稀疏”条件:芯片可以跳过一定比例的零值运算,标称值因此翻倍。多数训练任务用不上这种稀疏结构,比较时应看稠密值。
以NVIDIA H100 SXM的官方规格为例:
| 项目 | 数值 |
|---|---|
| FP64 | 34 TFLOPS |
| FP32(普通路径) | 67 TFLOPS |
| BF16/FP16 Tensor | 989.5 TFLOPS(稠密),1979 TFLOPS(稀疏) |
| FP8 Tensor | 1979 TFLOPS(稠密),3958 TFLOPS(稀疏) |
| 显存 | 80 GB HBM3,带宽3.35 TB/s |
| 卡间互联 | NVLink 900 GB/s |
| 功耗 | 最高700 W |
同一张卡,FP64和FP8稀疏的数字相差一百多倍。一个项目宣传“600P”却不说精度,就无法判断它的实际能力。国内官方统计目前多按FP16口径公布智能算力。
国产AI芯片与软件生态
国内智算中心大量采用国产芯片,主要有华为昇腾,以及海光DCU、寒武纪、昆仑芯、平头哥、沐曦、摩尔线程等,其中昇腾的部署规模最大。各型号的公开规格、代际路线和数据可信度分级见加速卡与供应商。
用国产芯片的关键难点不在硬件峰值,而在软件生态。NVIDIA的CUDA经过近二十年积累,主流AI框架、模型和工具都首先针对它优化;昇腾使用自己的CANN软件栈,客户代码需要迁移和调优。因此同样标称600P的两个中心,一个用NVIDIA、一个用昇腾,能接到的客户和需要的技术服务并不一样。调研国产芯片项目时,要问清楚客户跑的是什么模型、迁移工作由谁完成。
训练和推理是两种不同的生意
| 训练 | 推理 | |
|---|---|---|
| 做什么 | 用海量数据反复调整模型参数 | 用训练好的模型响应请求 |
| 资源形态 | 几百到上万张卡同步运行数周到数月 | 单卡到几十卡一组,长期在线 |
| 瓶颈 | 卡间通信、存储吞吐、故障恢复 | 显存容量与带宽、请求延迟 |
| 对位置的要求 | 不敏感,可放在电价低、离用户远的地方 | 在线业务要靠近用户,离线批处理可以远 |
| 客户 | 少数大模型厂商和研究机构 | 面广,各类应用和企业 |
| 收入特征 | 大单、集中、有周期;训练结束后需求可能断档 | 小单、分散、持续,与应用使用量挂钩 |
这一区分直接影响选址:“东数西算”让西部承接非实时业务,训练、批量推理和科学计算都属于这一类;面向用户的在线推理更依赖网络时延,倾向靠近需求地。
估算:一项训练任务需要多少算力
下面用业界常用的近似公式,把“PFLOPS”和“需要多少卡、跑多久”联系起来。参数全部是假设,仅作演示。
训练一个稠密Transformer模型的计算量约为:
其中
假设用1000张H100,每张BF16稠密峰值989.5 TFLOPS,实际发挥的比例(模型算力利用率,MFU)取40%:
从这个算例能看出三件事:
- 峰值只是天花板。 大规模训练的MFU常见在30%~50%,损失来自通信等待、数据加载和故障重启。同样1000张卡,MFU从40%降到25%,工期就从25天拉长到40天。
- 精度要和任务对齐。 如果代入FP8稀疏的3958 TFLOPS,会算出快4倍的结果,但这个任务实际用BF16训练,那个数字没有意义。
- 瓶颈决定上限。 若一个任务一半时间在计算、一半在等数据,把计算提速一倍,总时间只降到原来的75%。投资之前要先找到瓶颈。
显存决定一张卡装不装得下模型
模型参数按精度占用显存:BF16下每个参数2字节,700亿参数就是140 GB,一张80 GB的H100放不下,推理至少要两张卡切分。
训练更占显存。常用的混合精度加Adam优化器,每个参数约需16字节(半精度权重和梯度、FP32主权重、两组优化器状态),还不算中间激活值。700亿参数仅这一项就要约1.1 TB,必须分散到几十张卡上。
模型一旦切分,卡之间就要不停地交换数据。这就是为什么在智算中心里,网络和芯片同样重要。
一个智算集群是怎样搭起来的
| 层级 | 组成 | 解决什么问题 |
|---|---|---|
| 芯片 | 加速卡及其HBM显存 | 计算 |
| 节点内(纵向扩展) | 一台服务器装8张卡,用NVLink或华为的高速总线全互联 | 卡间超高带宽,适合把一个模型层切到多张卡上 |
| 超节点 | 把节点内的高速互联扩展到整柜或多柜:GB200 NVL72为72张卡,CloudMatrix 384为384颗芯片 | 更大的高速互联域,减少跨节点通信 |
| 集群(横向扩展) | 每张卡配一张高速网卡,经InfiniBand或RoCE以太网组成多级交换网络 | 成千上万张卡之间的数据并行 |
| 存储 | 并行文件系统、对象存储 | 持续供给训练数据,定期保存检查点 |
| 软件 | 驱动、CUDA或CANN、PyTorch等框架、通信库、Kubernetes或Slurm调度 | 让客户的程序真正跑起来 |
几个常被问到的概念:
- 三张网分开:计算网络(卡间交换参数)、存储网络(读写数据)、业务管理网络(登录、监控)通常物理隔离,互不干扰。
- InfiniBand与RoCE:InfiniBand是专用网络,时延低、成熟度高,供应商主要是NVIDIA;RoCE在以太网上实现同类的远程内存访问,设备来源更广、成本较低,但需要精细配置才能做到不丢包。国内项目越来越多采用RoCE。
- 故障是常态:Meta训练Llama 3 405B时用了16384张H100,54天里出现419次意外中断,大部分由GPU、显存等硬件问题引起。集群越大,越需要检查点保存、快速重启和备用节点。规模和可用性需要一起评价。
机房:供电与散热
供电链
市电中断时,电池先顶上几分钟,柴油发电机启动后接管。可靠性靠冗余实现:N+1指多配一台备用,2N指整套供电系统配两份。GB 50174-2017《数据中心设计规范》按可靠性要求把数据中心分为A、B、C三级,A级为容错系统,要求最高。
散热:从风冷到液冷
芯片消耗的电几乎全部变成热,散热能力决定一个机柜能放多少设备。
| 方式 | 原理 | 适用密度 |
|---|---|---|
| 风冷 | 冷空气吹过服务器,热空气由空调或外部冷源带走;冷热通道封闭以防混合 | 单柜约20~30 kW以内 |
| 冷板式液冷 | 冷却液流经贴在芯片上的金属冷板,带走大部分热量,其余仍靠风冷 | 当前高密智算的主流,单柜数十到100 kW以上 |
| 浸没式液冷 | 服务器整体浸入不导电的冷却液 | 密度最高,运维方式与传统机房差别大 |
单柜功率在快速上升:一台8卡H100服务器满载约10 kW,一个机柜放两三台就超过20 kW;GB200 NVL72整柜超过100 kW,只能液冷。老机房改建智算中心时,瓶颈往往不是空间,而是每个机柜能分到的电和冷,结果机柜常常只能装一半。
自然冷源是节能的关键:外部空气、湖水或岩体足够冷时,可以少开或不开压缩机制冷。北方、高原和山洞的优势正在于此。
高海拔的特殊问题
海拔越高,空气越稀薄。2800米处空气密度约为海平面的四分之三,同样风量能带走的热量随之下降;电气设备的绝缘和散热、柴油发电机的输出功率也会降低。服务器、UPS和发电机的额定条件通常以较低海拔为基准,在高原使用要按厂商规格降额或取得书面确认。另一方面,高原气温低,可利用自然冷却的时间长。两方面要在具体型号和具体场地上算账,不能笼统说高原更好或更差。
PUE:衡量机房的能耗开销
PUE为1.5,意味着IT设备每用1度电,冷却、配电损耗和照明等还要额外用0.5度;1.2则只额外用0.2度。国家要求到2025年底全国数据中心平均PUE降到1.5以下,国家枢纽节点数据中心项目不得高于1.2(详见国家布局篇)。
读PUE时注意三点:
- 只管机房,不管计算。 PUE低说明冷却和配电省电,不说明芯片算得多快、算得有没有用。
- 年度值要按电量加权。 不能把12个月的PUE直接平均。例如两段时间的IT用电分别为100和300 MWh,PUE分别为1.6和1.2,合计PUE是
,直接平均却得1.40。 - 分清设计值与实测值。 低负载时PUE通常偏高,刚投运的中心往往达不到设计值。
规模数字怎样读
同一座中心的五种说法
| 说法 | 衡量什么 | 读的时候问 |
|---|---|---|
| 物理机架数 | 实际机柜数量 | 规划、建成还是已装设备?单柜多少kW? |
| 标准机架数 | 按2.5 kW一架折算的规模 | 与物理机架是同一座中心的两种表达,不能相加 |
| IT功率(MW) | 信息设备的用电能力 | 设计值还是实测值?与电网接入容量是两回事 |
| 卡数 | 加速卡数量 | 什么型号?已采购、已上架还是已对外销售? |
| 算力(PFLOPS) | 每秒浮点运算次数 | 什么精度?稠密还是稀疏?峰值还是实测? |
例:1000个物理机柜,每柜设计IT功率15 kW,即IT设计容量15 MW,按2.5 kW折算相当于6000个标准机架。若全年平均负载为设计的60%、PUE为1.25,全年用电约:
单位换算:
官方统计数字
| 时点 | 官方披露 | 口径说明 |
|---|---|---|
| 2025年3月底 | 全国在用算力中心标准机架超过900万 | 工信部数字产业运行情况 |
| 2025年底 | 三家基础电信企业对外服务数据中心机架93.8万个;可调度智能算力超过94.4 EFLOPS(FP16) | 工信部通信业统计公报及解读,仅含电信、移动、联通 |
| 2026年7月底 | 全国智算总规模245万PFLOPS(FP16),其中145万PFLOPS纳入国家级平台监测 | 国家数据局披露 |
这些数字主体范围和时点各不相同,不能直接拼接计算增速或市场份额。“纳入监测”指数据接入了平台,不代表这些算力已被调度或售出。
利用率不是一个数
“利用率80%”可能指完全不同的东西。以100张卡、一个月720小时为例:
| 指标 | 含义 | 示例 |
|---|---|---|
| 上架率 | 机柜中已装设备的比例 | 机柜已装满,但设备可能还没开通 |
| 分配率 | 已分给客户的卡占可售卡的比例 | 月末80张已分配,即80% |
| 计费使用率 | 实际计费的卡时占可售卡时的比例 | 本月计费40000卡时 ÷ 72000卡时 ≈ 56% |
| 忙碌率 | 芯片实际处于计算状态的时间比例 | 监控工具显示平均70% |
| 回款率 | 已收现金占应收账款的比例 | 财务口径,与技术指标无关 |
这几个数可以同时成立。看到“利用率”,第一件事是问分子和分母各是什么。收入看计费使用率,现金看回款,技术效率看忙碌率和MFU,三者不能互相替代。
全国数标委2025年发布的配套技术文件对资源池化(TC609-6-2025-04)、多量纲计费(TC609-6-2025-06)和监测接口(TC609-6-2025-08)有具体规定,计费与运营部分见商业篇。
常见误读
| 说法 | 问题在哪 | 应该看什么 |
|---|---|---|
| “某中心算力5000P” | 没说精度,FP8稀疏和FP16稠密相差4倍 | 型号、卡数、精度、稠密或稀疏 |
| “1万个机架” | 不知道是物理机架还是标准机架 | 柜型和单柜功率 |
| “100 MW数据中心” | 可能是电网接入容量,而非IT容量 | IT设计负荷、PUE、接入容量分开列 |
| “PUE 1.15” | 可能是设计值或某个凉爽月份的值 | 全年实测、按电量加权 |
| “利用率80%” | 可能是上架率,与收入无关 | 计费使用率和回款 |
| “相当于N亿台电脑” | 宣传换算,精度和任务都不对应 | 不用于分析 |
| “国产卡算力与进口卡相当” | 峰值接近,软件生态和客户适配不同 | 客户模型能否直接运行、迁移成本由谁承担 |
参考来源
- 2025年一季度数字产业运行情况,工信部,2025-05-15。
- 2025年通信业统计公报及解读,工信部,2026年。
- 国家数据局2026年8月29日活动披露。
- 全国数标委19项技术文件发布通知,2025-08-29:算力中心能力评估要求、算力池化、多量纲计费、监测接口等。
- GB 50174-2017《数据中心设计规范》,住建部。
- GB 40879-2021《数据中心能效限定值及能效等级》,标准信息页。
- NVIDIA H100官方规格、GB200 NVL72。
- CloudMatrix 384第三方分析:The Register、Tom's Hardware。
- The Llama 3 Herd of Models,Meta,2024:大规模训练的中断统计。
- MLPerf Training、MLPerf Inference Datacenter:AI系统性能基准方法。