核心结论
AI 算力集群的性能，往往不是被 GPU 卡住，而是被网络和存储的短板拖住。很多项目在采购时把预算集中堆在 GPU 上，上线后却发现训练任务跑不满、GPU 利用率长期偏低——瓶颈通常出在参数同步的网络时延，或数据加载的存储带宽。本文把集群建设拆成算力、网络、存储三个层面，逐层给出选型逻辑与容易踩的坑，再补充机房承载、POC 验证与分期扩容的落地要点。
- 算力层：按训练 / 推理 / 微调区分硬件需求，先定模型规模再定卡型，而不是反过来。
- 网络层：规模决定协议——中小集群 RoCE 起步，大规模集群才需要考虑 InfiniBand；收敛比与拓扑比带宽数字更关键。
- 存储层：训练集要的是并发聚合带宽与元数据性能，并行文件系统加分层介质是常见组合。
- 落地层：供电、制冷、承重往往才是真正的硬约束，采购前先做机房承载评估。
一、先回答一个问题：自建还是上云
在谈具体型号之前，先要判断投入方式。算力建设的成本结构，取决于使用强度和数据约束两个变量，而不是单纯比较单卡小时价格。
| 判断维度 | 偏向公有云 | 偏向自建 |
|---|---|---|
| 使用强度 | 偶发、峰值波动大、项目周期短 | 长期持续满负荷运行 |
| 数据约束 | 数据可出内网 | 敏感数据、行业合规要求数据不出内网 |
| 成本形态 | 按需付费，无重资产 | 一次性投入，长期单位成本摊薄 |
| 运维能力 | 无专职 AI 运维团队 | 有基础设施运维团队 |
| 迭代节奏 | 硬件换代风险由云承担 | 需自行承担硬件折旧与技术换代 |
实务中经常是混合形态：主训练集群自建，用来摊薄长期成本；峰值溢出与短期实验用云端补充。判断的关键是把三年周期的总拥有成本算清楚，而不是只看单次采购价或单卡小时价。硬件折旧、机房改造、电力、运维人力都应计入。
二、算力层：GPU 服务器怎么选
2.1 先定模型规模，再定卡型
选型常见的误区是从型号参数出发，先问“哪张卡算力高”，再倒推能干什么。合理的顺序反过来：先明确要跑什么模型、多大规模、什么训练方式，再推导显存与互联需求。
| 场景 | 核心约束 | 选型侧重 |
|---|---|---|
| 大模型预训练 / 全参微调 | 显存容量、卡间与节点间互联带宽 | 高显存 + 高速互联，集群化部署 |
| 参数高效微调（LoRA 等） | 单卡显存够用即可，追求性价比 | 中等显存，重视单机密度 |
| 推理服务 | 并发吞吐、时延、单位请求成本 | 重视显存带宽与批处理效率，可混合精度 |
| 传统 AI / 视觉训练 | 数据吞吐、训练时长 | 性价比优先，网络要求相对低 |
显存决定了“能不能装下模型”，互联带宽决定了“多卡并行时效率衰减多少”。当一个模型必须切分到多张卡上训练时，卡间通信量会随并行度上升，这时互联能力比单卡峰值算力更能决定实际训练效率。
2.2 三种交付形态怎么取舍
同样是算力，交付形态不同，后续的运维负担差别很大：
- 标准 8 卡 GPU 服务器：标准化硬件单元，灵活度高、可按节点逐步扩容，但网络、存储、调度平台与运维体系都要企业自己规划。适合规模较大、有长期演进计划且具备基础设施团队的场景。可参考 Roycom 智算服务器的机型划分。
- AI 算力一体机：把服务器、存储、网络与管理平台预集成、预调优，开箱可用、交付周期短。适合希望快速验证、缺乏专门 AI 运维团队的团队。详见 智算一体机解决方案。
- HPC / 超融合平台：面向传统高性能计算与超融合场景，适合既跑 AI 也跑科学计算、仿真等混合负载的环境。参见 AI 与高性能计算平台。
2.3 供电与散热：容易被低估的一环
高密度 GPU 服务器的单柜功率可达十几千瓦甚至更高，这个数字直接冲击机房的三项能力：配电容量、制冷能力、机柜承重。风冷方案在高密度机柜下容易出现局部热点，液冷则在散热效率上有明显优势，但对机房的管路、水质与运维条件提出新要求。选型时建议把“单柜功率密度”作为与机房方沟通的起点数字，而不是等服务器到货才发现供电不够。
三、网络层：集群网络往往是真正的瓶颈
3.1 为什么网络决定了 GPU 利用率
分布式训练的核心动作是梯度同步。每一轮迭代，各节点都要交换并聚合梯度参数，这个过程（AllReduce）的耗时直接叠加在每轮训练时间上。节点越多、模型越大，通信占比越高。当网络时延高或带宽不足时，GPU 会大量时间处于“等数据”的空转状态——账面算力很高，实际利用率很低。
这也是为什么大规模训练集群的网络投入经常与 GPU 投入同一量级：网络不是配套，而是算力能不能被真正用起来的前提。
3.2 InfiniBand 与 RoCE 的取舍
| 对比维度 | InfiniBand | RoCE v2 |
|---|---|---|
| 承载方式 | 专用网络与专用协议栈 | 在以太网上承载 RDMA |
| 时延与拥塞控制 | 表现稳定，机制原生 | 依赖无损网络配置（PFC/ECN），调优影响大 |
| 建设成本 | 专用交换机与线缆，投入较高 | 可复用以太网体系，成本更友好 |
| 运维门槛 | 需要专门的网络知识储备 | 可复用现有以太网运维人员与工具 |
| 适用规模 | 大规模训练集群的常见选择 | 中小规模集群、渐进式扩容的务实起点 |
选择的判断标准不是“哪个更高端”，而是规模、团队能力与预算三者的匹配。中等规模集群、已有成熟以太网运维团队的企业，从 RoCE 起步通常性价比更高；当集群规模上升到对时延极度敏感、且团队具备相应能力时，InfiniBand 的稳定性优势才充分体现。相关产品线可参考 NVIDIA Mellanox 高性能网络互联。
3.3 拓扑与收敛比：比带宽数字更关键
采购时容易只盯着“多少 G 带宽”，但真正影响训练效率的是整个网络是否无阻塞。收敛比（超配比）指的是下层端口总带宽与上层端口总带宽的比例：1:1 为无阻塞，收敛比越高，跨层通信越容易排队。
- 小规模（数十卡）：两层架构即可，重点保证同层互联无阻塞。
- 中大规模（数百卡以上）：常采用胖树（Fat-Tree）或叶脊架构，通过多级交换保证任意两节点间的等价路径与带宽。
- 线缆与光模块：高速互联下，有源光缆与光模块的选型、布线与散热同样是工程难点，不能只按交换机端口数下单。
四、存储层：训练数据加载的 IO 陷阱
4.1 普通 NAS 为什么会成为瓶颈
训练任务读取数据的特征与办公文件共享完全不同：海量小文件、高并发、持续高吞吐。普通 NAS 在几百上千个并发读请求下，元数据操作与网络带宽容易先饱和，表现出来就是 GPU 频繁等待数据、训练吞吐上不去。这类问题在上线前很难从纸面参数看出来，往往要等真实训练跑起来才暴露。
4.2 并行存储与分层介质
并行文件系统通过多节点并行提供聚合带宽与元数据性能，能支撑大量训练任务的并发读取。常见做法是分层而非单一介质打天下：
| 层级 | 承载内容 | 介质侧重 |
|---|---|---|
| 热层 | 当前训练集、频繁读写的中间数据 | NVMe 全闪，追求低时延与高 IOPS |
| 温层 | 历史训练集、周期复用的样本库 | 大容量闪存或混合介质 |
| 冷层 / 归档 | 模型检查点、原始数据归档 | 大容量介质，追求单位成本 |
模型检查点（Checkpoint）的写入同样不能忽视：大模型训练中检查点文件体积可观，写入过慢会阻塞训练进度。可参考 并行存储与分级存储方案了解产品侧的实现方式。
五、落地层：机房承载与 POC 验证
5.1 采购前先做机房承载评估
服务器参数再漂亮，机房承载不了就无法上线。建议在采购前完成以下核查：
- 供电：总容量、单柜配电能力、冗余方式（是否具备双路与 UPS 支撑）。
- 制冷：现有冷量余量、是否存在局部热点、能否支撑目标功率密度。
- 承重与空间：高密度机柜的重量、布线空间与后续扩容余量。
- PUE 与合规：能耗约束是否满足内部或监管要求。
5.2 POC 要验证的四件事
纸面参数不能替代实测。POC 阶段建议用真实模型和真实数据，重点验证：
- 算力有效性：目标模型在单机与多机下的实际吞吐，以及多卡扩展时的效率衰减曲线。
- 网络实测：节点间实际可达带宽与时延，长时间稳定性（是否存在丢包与重传）。
- 存储实测：并发读取下的聚合带宽与元数据响应，是否与训练数据加载需求匹配。
- 软件栈适配：所用框架、算子库、推理引擎与驱动的兼容性，这往往比硬件参数更能决定实际体验。
5.3 分期建设与扩容路径
算力需求通常会随业务验证而快速变化，一次性按远期规模采购容易造成早期闲置与后期型号落后。较务实的路径是：小规模试点验证模型与流水线可行性 → 按实际吞吐瓶颈扩容（优先补网络与存储短板）→ 形成标准化的扩容单元，降低后续采购与运维复杂度。
六、常见问题
企业自建 AI 算力集群大概需要多少预算？
预算跨度很大，取决于算力规模。一台 8 卡 GPU 服务器加上配套的交换机、存储与机房改造，投入通常在数十万到数百万元区间；若规划十台以上服务器的集群，还需增加高速网络（InfiniBand 或 RoCE 交换机与光模块）、并行存储与供电制冷改造的费用。实务上建议按“先试点、后扩容”的方式分期投入，先用少量节点验证模型与流水线是否跑得通，再按实际吞吐扩规模，避免一次性重资产投入。
训练大模型该选国际主流 GPU 还是国产 GPU？
两者不是非此即彼。国际主流 GPU 在软件生态、框架适配与算子库成熟度上积累更久，适合对训练效率要求高、且不受供应限制的场景；国产 GPU 在供应链可控与信创合规上有优势，适合有国产化要求的行业客户。选型的实际约束往往不是性能参数，而是所用框架、算子库与推理引擎的适配程度。建议在 POC 阶段用真实模型实测，而不是只看理论算力。
InfiniBand 和 RoCE 到底怎么选？
核心看规模与运维能力。InfiniBand 采用专用网络与协议栈，时延与拥塞控制表现稳定，是大规模训练集群的常见选择，代价是专用交换机与线缆成本较高、需要专门的运维知识；RoCE v2 在以太网上承载 RDMA，可复用现有以太网运维体系与人员技能，成本更友好，但对无损网络配置（PFC、ECN）要求较高，调优不到位时性能波动更明显。中小规模集群、已有成熟以太网运维团队的企业，RoCE 往往是性价比更高的起点。
8 卡 GPU 服务器和 AI 算力一体机有什么区别？
本质是交付形态不同。8 卡 GPU 服务器是标准化硬件单元，需要企业自行规划网络、存储、调度平台与运维体系，灵活度高、可逐步扩容；算力一体机把服务器、存储、网络与管理平台预集成并预调优，开箱可用、交付周期短，适合希望快速上线、缺乏专门 AI 运维团队的场景。规模较大且长期演进的企业更适合标准化服务器自建，追求快速验证与低运维门槛的场景更适合一体机。
智算机房需要什么条件？供电和制冷是主要瓶颈吗？
是的，供电与制冷往往比服务器本身更难解决。高密度 GPU 服务器单柜功率可达十几千瓦甚至更高，普通办公机房难以承载。需要评估：机房总供电容量与配电冗余、机柜承重、制冷方式（风冷或液冷）与冷量余量、PUE 约束以及扩容空间。若计划采用液冷，还需提前确认机房是否具备相应的管路、水质与运维条件。建议在采购服务器之前先完成机房承载能力评估。
并行存储和普通 NAS 有什么区别？为什么训练需要它？
差别在并发聚合带宽与元数据性能。大模型训练要持续、高速地读取海量样本，普通 NAS 在大量并发小文件读取时容易成为瓶颈，导致 GPU 等待数据、算力利用率下降。并行文件系统通过多节点并行提供聚合带宽，能支撑数十甚至上百个训练任务的并发读取。实务上常见做法是分层：NVMe 全闪承载热数据与训练集，大容量介质承载归档与检查点，避免用单一介质应对所有负载。
私有化部署和公有云租算力哪个划算？
取决于使用强度与数据约束。算力需求波动大、项目周期短的团队，公有云按需付费更灵活，避免重资产闲置；而算力长期满负荷运行、且数据不允许出内网的场景（如涉及敏感数据、行业合规要求），自建的长期单位成本通常更低。很多企业的实际选择是混合：训练主集群自建以摊薄长期成本，峰值溢出与临时实验用云端补充。建议按三年周期的总拥有成本做对比测算。
VISBAT 在 AI 算力集群建设上能提供哪些支持？
VISBAT 维思贝特提供从方案设计到交付运维的一体化支持：算力层可选智算服务器、AI 算力一体机与 HPC/超融合平台，网络层提供 NVIDIA Mellanox 高性能互联方案，存储层提供并行存储与分级存储方案，并配合机房承载评估、POC 实测与分期扩容规划。具体配置与报价需结合业务模型和现有机房条件确定，以实际方案与厂商资料为准。
总结：三层匹配，别让短板吃掉算力
AI 算力集群的成败，很少取决于单张卡的参数高低，而取决于算力、网络、存储三层是否匹配，以及机房承载是否跟得上。GPU 决定理论峰值，网络决定多卡多机能否高效协同，存储决定数据能否持续喂饱算力，机房决定以上一切能否真正落地。把钱花在消除瓶颈上，比花在堆高峰值参数上更划算。
VISBAT 维思贝特提供算力层（智算服务器、AI 算力一体机、HPC / 超融合平台）、网络层（Mellanox 高性能互联）与存储层（并行存储、分级存储）的组合方案，并配合机房承载评估、POC 实测与分期扩容规划。具体配置与报价需结合业务模型与现有机房条件确定，正式采购与部署请以厂商当时发布的产品资料与兼容性说明为准。
需要规划 AI 算力集群？
我们的技术团队可协助评估现有模型需求与机房条件，规划算力、网络、存储三层配置，提供 POC 实测与分期扩容方案。