跳转到正文

技术原理与规模口径 ​

资料截至2026-10-14。本文是栏目的技术底座:先讲算力中心怎样工作,再讲规模数字怎样读。其他各篇涉及技术概念时都回到这里。芯片参数引自厂商官方规格;国产芯片的部分参数只有第三方分析,已单独注明。

一句话理解 ​

算力中心是一座把电变成计算服务的工厂。电从电网进来,经过变配电和UPS送到服务器;芯片完成计算,消耗的电几乎全部变成热,再由冷却系统排走;软件把成千上万颗芯片组织成客户可以申请、使用和付费的资源。

这条链上每一环都可能卡住:电接不进来,设备装不上;散热跟不上,芯片要降频;网络慢,几千张卡互相等待;软件不兼容,客户的程序跑不起来;没有客户,设备再好也只是在折旧。后面各篇讨论的政策、选址和经济性,本质上都在处理这条链上的某一环。

三类算力中心按负载区分 ​

数据中心是总称,指承载信息设备及其供电、制冷、网络配套的设施。通算、智算、超算按主要承载的计算负载区分,而不是按建筑区分;同一个园区可以同时提供三类服务。

通用计算(通算)智能计算(智算)高性能计算(超算)
典型任务网站、数据库、企业系统、视频、大数据分析大模型训练与推理、图像视频生成、推荐系统气象、流体、结构、分子模拟、地震勘探
主力芯片CPUGPU、NPU等AI加速芯片CPU为主,越来越多配GPU
关键精度整数与通用运算BF16、FP16、FP8等低精度FP64双精度
协作方式大量互不相干的小任务几十到上万张卡同步协作大量节点用MPI协同求解
网络普通以太网极高带宽、低时延的专用计算网络低时延高速网络
单柜功率(行业常见量级)4~8 kW20~40 kW;液冷整柜可超过100 kW视配置,高密机型同样需要液冷
常见计费按柜、虚拟机、存储容量按卡时、节点月、token按核时、卡时、机时

全国数标委2025年发布的《全国一体化算力网 算力中心能力评估要求》(TC609-6-2025-09)对这些名称有正式术语;它是行业技术文件,不是GB国家标准。

为什么AI需要GPU ​

神经网络的计算主体是矩阵乘法:成千上万次“乘了再加”,彼此独立,可以同时进行。

  • CPU像少数几个全能工人:几十个核心,每个都能处理复杂逻辑和分支,适合流程繁杂的业务程序。
  • GPU像上万个只会做简单活的工人:同时执行同一种简单运算,恰好适合矩阵乘法。

现代AI芯片还专门设计了矩阵运算单元(NVIDIA称Tensor Core,华为昇腾称Cube单元),一条指令就完成一小块矩阵的乘加,效率比普通计算单元再高一个量级。所以规格表上同一张卡会有“普通FP32”和“Tensor FP16”两套数字,相差十几倍。

另一项关键能力是显存(HBM高带宽内存)。模型参数和中间结果都放在显存里,算得再快,数据搬不过来也只能等。大模型推理尤其如此:每生成一个token都要把整套参数从显存读一遍,速度往往受显存带宽限制,而不是受计算峰值限制。

精度:用更少的位数换更快的速度 ​

精度指一个数用多少位二进制表示。位数越少,同样的芯片面积和带宽能处理越多数据,峰值越高,但能表示的范围和精细程度下降。

格式位数主要用途说明
FP6464科学与工程计算误差累积敏感的仿真必须用;多数AI芯片的FP64很弱
FP3232通用浮点早期AI训练的标准精度
TF32按32位存储,有效精度约19位Tensor单元上替代FP32名字带“32”,实际走的是低精度矩阵路径
BF1616大模型训练主流范围与FP32相同、精细度较低,训练更稳定
FP1616训练与推理比BF16精细、范围小,需要配合缩放技巧
FP88新一代训练与推理需要硬件和软件同时支持,并验证模型质量
INT8、INT48、4推理量化整数运算,单位是OPS而非FLOPS

规格表上的峰值还常带“稀疏”条件:芯片可以跳过一定比例的零值运算,标称值因此翻倍。多数训练任务用不上这种稀疏结构,比较时应看稠密值。

以NVIDIA H100 SXM的官方规格为例:

项目数值
FP6434 TFLOPS
FP32(普通路径)67 TFLOPS
BF16/FP16 Tensor989.5 TFLOPS(稠密),1979 TFLOPS(稀疏)
FP8 Tensor1979 TFLOPS(稠密),3958 TFLOPS(稀疏)
显存80 GB HBM3,带宽3.35 TB/s
卡间互联NVLink 900 GB/s
功耗最高700 W

同一张卡,FP64和FP8稀疏的数字相差一百多倍。一个项目宣传“600P”却不说精度,就无法判断它的实际能力。国内官方统计目前多按FP16口径公布智能算力。

国产AI芯片与软件生态 ​

国内智算中心大量采用国产芯片,主要有华为昇腾,以及海光DCU、寒武纪、昆仑芯、平头哥、沐曦、摩尔线程等,其中昇腾的部署规模最大。各型号的公开规格、代际路线和数据可信度分级见加速卡与供应商。

用国产芯片的关键难点不在硬件峰值,而在软件生态。NVIDIA的CUDA经过近二十年积累,主流AI框架、模型和工具都首先针对它优化;昇腾使用自己的CANN软件栈,客户代码需要迁移和调优。因此同样标称600P的两个中心,一个用NVIDIA、一个用昇腾,能接到的客户和需要的技术服务并不一样。调研国产芯片项目时,要问清楚客户跑的是什么模型、迁移工作由谁完成。

训练和推理是两种不同的生意 ​

训练推理
做什么用海量数据反复调整模型参数用训练好的模型响应请求
资源形态几百到上万张卡同步运行数周到数月单卡到几十卡一组,长期在线
瓶颈卡间通信、存储吞吐、故障恢复显存容量与带宽、请求延迟
对位置的要求不敏感,可放在电价低、离用户远的地方在线业务要靠近用户,离线批处理可以远
客户少数大模型厂商和研究机构面广,各类应用和企业
收入特征大单、集中、有周期;训练结束后需求可能断档小单、分散、持续,与应用使用量挂钩

这一区分直接影响选址:“东数西算”让西部承接非实时业务,训练、批量推理和科学计算都属于这一类;面向用户的在线推理更依赖网络时延,倾向靠近需求地。

估算:一项训练任务需要多少算力 ​

下面用业界常用的近似公式,把“PFLOPS”和“需要多少卡、跑多久”联系起来。参数全部是假设,仅作演示。

训练一个稠密Transformer模型的计算量约为:

C≈6×N×D

其中 N 为参数量,D 为训练用的token数。假设训练700亿参数的模型、使用2万亿token:

C≈6×7×1010×2×1012=8.4×1023 FLOP

假设用1000张H100,每张BF16稠密峰值989.5 TFLOPS,实际发挥的比例(模型算力利用率,MFU)取40%:

t=8.4×10231000×989.5×1012×0.40≈2.1×106 s≈25 天

从这个算例能看出三件事:

  1. 峰值只是天花板。 大规模训练的MFU常见在30%~50%,损失来自通信等待、数据加载和故障重启。同样1000张卡,MFU从40%降到25%,工期就从25天拉长到40天。
  2. 精度要和任务对齐。 如果代入FP8稀疏的3958 TFLOPS,会算出快4倍的结果,但这个任务实际用BF16训练,那个数字没有意义。
  3. 瓶颈决定上限。 若一个任务一半时间在计算、一半在等数据,把计算提速一倍,总时间只降到原来的75%。投资之前要先找到瓶颈。

显存决定一张卡装不装得下模型 ​

模型参数按精度占用显存:BF16下每个参数2字节,700亿参数就是140 GB,一张80 GB的H100放不下,推理至少要两张卡切分。

训练更占显存。常用的混合精度加Adam优化器,每个参数约需16字节(半精度权重和梯度、FP32主权重、两组优化器状态),还不算中间激活值。700亿参数仅这一项就要约1.1 TB,必须分散到几十张卡上。

模型一旦切分,卡之间就要不停地交换数据。这就是为什么在智算中心里,网络和芯片同样重要。

一个智算集群是怎样搭起来的 ​

层级组成解决什么问题
芯片加速卡及其HBM显存计算
节点内(纵向扩展)一台服务器装8张卡,用NVLink或华为的高速总线全互联卡间超高带宽,适合把一个模型层切到多张卡上
超节点把节点内的高速互联扩展到整柜或多柜:GB200 NVL72为72张卡,CloudMatrix 384为384颗芯片更大的高速互联域,减少跨节点通信
集群(横向扩展)每张卡配一张高速网卡,经InfiniBand或RoCE以太网组成多级交换网络成千上万张卡之间的数据并行
存储并行文件系统、对象存储持续供给训练数据,定期保存检查点
软件驱动、CUDA或CANN、PyTorch等框架、通信库、Kubernetes或Slurm调度让客户的程序真正跑起来

几个常被问到的概念:

  • 三张网分开:计算网络(卡间交换参数)、存储网络(读写数据)、业务管理网络(登录、监控)通常物理隔离,互不干扰。
  • InfiniBand与RoCE:InfiniBand是专用网络,时延低、成熟度高,供应商主要是NVIDIA;RoCE在以太网上实现同类的远程内存访问,设备来源更广、成本较低,但需要精细配置才能做到不丢包。国内项目越来越多采用RoCE。
  • 故障是常态:Meta训练Llama 3 405B时用了16384张H100,54天里出现419次意外中断,大部分由GPU、显存等硬件问题引起。集群越大,越需要检查点保存、快速重启和备用节点。规模和可用性需要一起评价。

机房:供电与散热 ​

供电链 ​

市电中断时,电池先顶上几分钟,柴油发电机启动后接管。可靠性靠冗余实现:N+1指多配一台备用,2N指整套供电系统配两份。GB 50174-2017《数据中心设计规范》按可靠性要求把数据中心分为A、B、C三级,A级为容错系统,要求最高。

散热:从风冷到液冷 ​

芯片消耗的电几乎全部变成热,散热能力决定一个机柜能放多少设备。

方式原理适用密度
风冷冷空气吹过服务器,热空气由空调或外部冷源带走;冷热通道封闭以防混合单柜约20~30 kW以内
冷板式液冷冷却液流经贴在芯片上的金属冷板,带走大部分热量,其余仍靠风冷当前高密智算的主流,单柜数十到100 kW以上
浸没式液冷服务器整体浸入不导电的冷却液密度最高,运维方式与传统机房差别大

单柜功率在快速上升:一台8卡H100服务器满载约10 kW,一个机柜放两三台就超过20 kW;GB200 NVL72整柜超过100 kW,只能液冷。老机房改建智算中心时,瓶颈往往不是空间,而是每个机柜能分到的电和冷,结果机柜常常只能装一半。

自然冷源是节能的关键:外部空气、湖水或岩体足够冷时,可以少开或不开压缩机制冷。北方、高原和山洞的优势正在于此。

高海拔的特殊问题 ​

海拔越高,空气越稀薄。2800米处空气密度约为海平面的四分之三,同样风量能带走的热量随之下降;电气设备的绝缘和散热、柴油发电机的输出功率也会降低。服务器、UPS和发电机的额定条件通常以较低海拔为基准,在高原使用要按厂商规格降额或取得书面确认。另一方面,高原气温低,可利用自然冷却的时间长。两方面要在具体型号和具体场地上算账,不能笼统说高原更好或更差。

PUE:衡量机房的能耗开销 ​

PUE=数据中心总耗电IT设备耗电

PUE为1.5,意味着IT设备每用1度电,冷却、配电损耗和照明等还要额外用0.5度;1.2则只额外用0.2度。国家要求到2025年底全国数据中心平均PUE降到1.5以下,国家枢纽节点数据中心项目不得高于1.2(详见国家布局篇)。

读PUE时注意三点:

  • 只管机房,不管计算。 PUE低说明冷却和配电省电,不说明芯片算得多快、算得有没有用。
  • 年度值要按电量加权。 不能把12个月的PUE直接平均。例如两段时间的IT用电分别为100和300 MWh,PUE分别为1.6和1.2,合计PUE是 (160+360)/400=1.30,直接平均却得1.40。
  • 分清设计值与实测值。 低负载时PUE通常偏高,刚投运的中心往往达不到设计值。

规模数字怎样读 ​

同一座中心的五种说法 ​

说法衡量什么读的时候问
物理机架数实际机柜数量规划、建成还是已装设备?单柜多少kW?
标准机架数按2.5 kW一架折算的规模与物理机架是同一座中心的两种表达,不能相加
IT功率(MW)信息设备的用电能力设计值还是实测值?与电网接入容量是两回事
卡数加速卡数量什么型号?已采购、已上架还是已对外销售?
算力(PFLOPS)每秒浮点运算次数什么精度?稠密还是稀疏?峰值还是实测?

例:1000个物理机柜,每柜设计IT功率15 kW,即IT设计容量15 MW,按2.5 kW折算相当于6000个标准机架。若全年平均负载为设计的60%、PUE为1.25,全年用电约:

15000 kW×0.60×8760 h×1.25≈9855 万千瓦时

单位换算:1 PFLOPS=1015 次/秒,1 EFLOPS=1000 PFLOPS。行业口语里的“1P”即1 PFLOPS。

官方统计数字 ​

时点官方披露口径说明
2025年3月底全国在用算力中心标准机架超过900万工信部数字产业运行情况
2025年底三家基础电信企业对外服务数据中心机架93.8万个;可调度智能算力超过94.4 EFLOPS(FP16)工信部通信业统计公报及解读,仅含电信、移动、联通
2026年7月底全国智算总规模245万PFLOPS(FP16),其中145万PFLOPS纳入国家级平台监测国家数据局披露

这些数字主体范围和时点各不相同,不能直接拼接计算增速或市场份额。“纳入监测”指数据接入了平台,不代表这些算力已被调度或售出。

利用率不是一个数 ​

“利用率80%”可能指完全不同的东西。以100张卡、一个月720小时为例:

指标含义示例
上架率机柜中已装设备的比例机柜已装满,但设备可能还没开通
分配率已分给客户的卡占可售卡的比例月末80张已分配,即80%
计费使用率实际计费的卡时占可售卡时的比例本月计费40000卡时 ÷ 72000卡时 ≈ 56%
忙碌率芯片实际处于计算状态的时间比例监控工具显示平均70%
回款率已收现金占应收账款的比例财务口径,与技术指标无关

这几个数可以同时成立。看到“利用率”,第一件事是问分子和分母各是什么。收入看计费使用率,现金看回款,技术效率看忙碌率和MFU,三者不能互相替代。

全国数标委2025年发布的配套技术文件对资源池化(TC609-6-2025-04)、多量纲计费(TC609-6-2025-06)和监测接口(TC609-6-2025-08)有具体规定,计费与运营部分见商业篇。

常见误读 ​

说法问题在哪应该看什么
“某中心算力5000P”没说精度,FP8稀疏和FP16稠密相差4倍型号、卡数、精度、稠密或稀疏
“1万个机架”不知道是物理机架还是标准机架柜型和单柜功率
“100 MW数据中心”可能是电网接入容量,而非IT容量IT设计负荷、PUE、接入容量分开列
“PUE 1.15”可能是设计值或某个凉爽月份的值全年实测、按电量加权
“利用率80%”可能是上架率,与收入无关计费使用率和回款
“相当于N亿台电脑”宣传换算,精度和任务都不对应不用于分析
“国产卡算力与进口卡相当”峰值接近,软件生态和客户适配不同客户模型能否直接运行、迁移成本由谁承担

参考来源 ​

← 返回算力基础设施