核心结论
AI 服务器采购常犯的错，是先挑型号再倒推用途。正确的顺序是从显存需求反推 GPU，再定整机形态，然后才谈价格。本文给出一份可直接对照下单的清单：三组需求数字怎么定、GPU 按三类场景对号入座、四种整机形态的取舍、供电制冷的真实门槛、逐项配置单、三年 TCO 测算方法，以及到货后必须做的验收压测。
- 需求侧：模型参数量与精度决定显存，训练/微调/推理决定互联要求，预算与时间窗决定要不要上云。
- 配置侧：GPU 型号、整机形态、电源冗余、本地盘与网卡，每一项都有对应场景与常见坑。
- 约束侧：单机功率与单柜功率密度，往往比服务器本身更早成为瓶颈。
- 验收侧：到货不做压测，问题会在训练跑到一半时才暴露。
一、先把三组需求数字定下来
选型不是从产品目录开始，而是从需求侧的三组数字开始。这三组数字一旦定了，配置基本就收敛了大半。
| 需求数字 | 它决定什么 | 怎么定 |
|---|---|---|
| 模型参数量与精度 | 单卡显存下限、是否需要多机切分 | 按参数量 × 每参数字节数，叠加优化器与激活开销预留 |
| 工作负载类型 | 卡间互联要求、显存带宽要求 | 训练 / 全参微调 / 参数高效微调 / 纯推理，四类需求差异明显 |
| 使用强度与时间窗 | 自建还是租用、分期还是一步到位 | 按长期满负荷还是阶段性峰值判断，算三年总成本 |
关于显存的粗略估算：以推理为例，参数按每个 2 字节（FP16）计算，再叠加激活值、KV 缓存与框架开销；训练时还要为梯度、优化器状态预留额外空间，占用会明显高于推理。这个估算只用来判断“单卡够不够”，精确值必须以实机加载模型验证。集群整体架构层面的取舍，可参考 企业 AI 算力集群建设指南。
二、GPU 怎么对号入座：按场景而非按参数
不必追具体型号的榜单排名——型号迭代很快，价格波动也大。更有用的是掌握六个判断维度，任何型号都能代入评估：
| 维度 | 为什么关键 | 训练场景 | 推理场景 |
|---|---|---|---|
| 显存容量 | 决定模型能否装下单卡 | 要求高，直接决定并行策略 | 要求中，看单卡能承载的并发 |
| 显存带宽 | 决定解码阶段的实际吞吐 | 重要 | 关键，常是瓶颈所在 |
| 卡间互联 | 决定多卡并行的效率衰减 | 关键（NVLink 等高速互联） | 要求相对低 |
| 精度支持 | 影响显存占用与吞吐 | 需要 BF16/FP16 良好支持 | INT8/FP8 量化收益明显 |
| 软件生态 | 决定框架与算子库能否跑通 | 关键，影响开发效率 | 关键，影响推理引擎适配 |
| 供应与合规 | 决定能否按期交付 | 信创场景需国产方案 | 同左 |
一句话总结取舍逻辑：训练看显存与互联，推理看带宽与成本。这也是为什么多数企业会把训练和推理分成两批机器，而不是用同一批机器兼容两种负载。
三、整机形态：四种选择的真实差异
| 形态 | 优势 | 代价 | 适用场景 |
|---|---|---|---|
| 8 卡 GPU 标准机 | 密度高、单位算力成本较优、易按节点扩容 | 需自建网络/存储/调度体系 | 规模较大、有基础设施团队的长期建设 |
| 4 卡 GPU 服务器 | 功率与散热门槛低、适合起步 | 单机算力上限较低 | 微调、推理、部门级试点 |
| AI 算力一体机 | 预集成预调优、交付周期短、运维门槛低 | 配置灵活性受限、单点扩展受限 | 快速验证、缺专职 AI 运维团队 |
| 白牌 / 组装方案 | 同等配置单价较低、配置自由 | 兼容性验证与故障定位需自担 | 有硬件团队、规模化采购 |
品牌整机与白牌的差别，本质是责任边界：品牌整机把兼容性验证、固件支持、备件供应打包成服务；白牌把这些工作转移给企业自己。规模小时省下的钱，可能被一次故障定位的成本吃掉。具体机型划分可参考 Roycom 智算服务器 与 智算一体机方案。
四、供电与散热：真正的门槛在这里
服务器可以今天下单，机房改造却要提前几个月。这一节的判断如果做晚了，服务器到货也上不了架。
4.1 三个必须提前确认的数字
- 单机功率：8 卡 GPU 服务器整机功率通常在数千瓦到万瓦级，具体随卡型与配置变化，必须以厂商规格书为准。
- 单柜功率密度：把单机功率乘以单柜机器数量，得到机柜功率。这个数字决定了配电、制冷与承重方案。
- 机房余量：现有配电容量、制冷余量与承重上限，是否有扩容空间。
4.2 风冷与液冷的取舍
| 对比项 | 风冷 | 液冷 |
|---|---|---|
| 散热能力 | 受限于风量与温差，高密度机柜易出现局部热点 | 散热效率高，可支撑更高功率密度 |
| 机房改造 | 多为现有精密空调扩容 | 需 CDU、管路、漏水防护、水质维护 |
| 运维要求 | 运维体系成熟、人员熟悉 | 需要新的运维技能与流程 |
| 适用边界 | 中低功率密度仍具经济性 | 高密度场景下经济性才充分体现 |
判断液冷是否值得上的方式不是比较服务器单价，而是比较同等算力下的总投入：液冷可能让单柜装更多机器、节省机房面积与电力，但也新增改造与运维成本。这一笔账要放在一起算。
五、采购配置单：逐项对照
下面这份清单可以直接拿去和供应商对齐口径。同一份配置单报价，才具备可比性。
| 部件 | 选型建议 | 常见坑 |
|---|---|---|
| GPU | 按上文的需求数字定卡数与显存 | 只看算力不看显存，导致模型装不下 |
| CPU | 按 GPU 配比选择，关注 PCIe 通道数是否够喂满 GPU | CPU 通道不足，GPU 拿不到足额带宽 |
| 内存 | 按每卡对应容量配比，训练场景适当放宽 | 内存不足导致数据加载阶段成为瓶颈 |
| 系统盘 | 企业级 SSD，做 RAID1 | 用消费级盘，长期写入后性能衰减 |
| 数据盘 | 本地 NVMe 作为缓存层，训练集放并行存储 | 全部依赖本地盘，扩容困难 |
| 网卡 | 业务口 + 存储口 + 管理口分离 | 混用一张网卡，流量互相挤占 |
| 电源 | 按整机功率选冗余配置（如 2+2） | 按标称功率卡着配，满载时无余量 |
| 带外管理 | 确认 BMC/IPMI 可用并可集中纳管 | 到货才发现远程管理不可用，运维被动 |
| 保修服务 | 明确年限、响应时效与备件先行条款 | 只谈价格不谈服务，故障后等待周期长 |
六、三年 TCO 怎么算
采购价只是冰山一角。做投资决策时建议按三年周期列出以下项目：
| 成本项 | 测算方式 | 容易被忽略的点 |
|---|---|---|
| 硬件采购 | 服务器 + 交换机 + 光模块 + 存储 | 线缆与光模块常被漏算 |
| 电费 | 整机功率 × 运行小时 × 电价 × PUE | 只算服务器功率，忘了制冷能耗 |
| 机房 / 托管 | 机柜租金或自建机房摊销 | 高密度机柜的租金单价通常更高 |
| 运维人力 | 按所需运维人力折算 | 液冷与新平台带来的技能成本 |
| 备件与保修 | 按集群规模预留比例 | 未预留备件，单点故障拉长停机时间 |
| 折旧与残值 | 按财务口径摊销 | 硬件迭代快，残值不宜乐观估计 |
把这六项加总后，再与“同等算力下租用云资源三年”的成本对比，才是可靠的自建与否判断。注意电费一项在长期运行下往往占比可观，不能略过。
七、到货验收：必须做的压测清单
服务器到货不等于可用。建议按以下顺序验收，任一环节异常都应在保修期内提出：
- GPU 健康检查：确认卡数、显存容量与驱动版本符合订单，检查是否存在显存错误计数。
- 显存带宽实测：用基准工具实测，与规格书对比，偏差明显需排查。
- 卡间互联实测：验证 NVLink 或 PCIe 带宽，确认多卡并行时不因互联受限。
- 网络实测：节点间实际可达带宽与时延，长时间运行是否有丢包重传。
- 存储 IO 实测：并发读取下的聚合带宽与元数据响应。
- 满载稳定性：连续高负载运行数十小时，观察功耗、温度与降频情况。
- 带外管理验证：BMC 远程开关机、日志与告警是否可用、能否集中纳管。
- 业务回归：用真实模型跑一遍完整训练或推理流程，确认软件栈全部就绪。
验收阶段发现问题，处理成本远低于上线后。这一步不能省。
八、常见问题
一台 8 卡 GPU 服务器大概多少钱？
价格区间跨度很大，主要取决于所选 GPU 型号、单卡显存、CPU 与内存配置、本地存储以及是否含液冷与保修服务。同一台 8 卡机，选用不同代际与定位的 GPU，整机价格可能相差数倍。此外还需计入配套的交换机、光模块、机柜配电与机房改造费用。建议先确定模型与显存需求，再让供应商按统一配置口径报价，避免用不同配置的价格直接横向比较。
训练和推理能用同一批服务器吗？
技术上可以，但经济上通常不划算。训练强调显存容量与卡间互联带宽，追求把大模型装下并高效并行；推理强调显存带宽、并发吞吐与单位请求成本，对互联要求相对低，但对功耗与密度更敏感。常见做法是训练集群与推理集群分开配置：训练用高显存高互联机型，推理用性价比更高、密度更大的机型。
白牌服务器和品牌服务器怎么选？
差别主要在交付确定性与售后责任边界。品牌服务器在整机兼容性验证、固件与驱动支持、备件供应与保修响应上更完整，出现问题时责任主体清晰；白牌或组装方案在同等配置下单价通常更低、配置更灵活，但需要企业自身具备较强的硬件选型、兼容性验证与故障定位能力。规模较大、有硬件运维团队的企业可以评估白牌；追求省心与稳定交付的场景更适合品牌整机。
液冷改造需要什么条件？成本高吗？
液冷不是换一台服务器那么简单，它牵动机房侧的一整套条件：是否具备冷却液分配单元（CDU）与管路空间、机柜是否支持液冷接口、机房承重与漏水防护、冷却液的水质与更换维护流程，以及运维人员是否具备相应技能。通常只有单柜功率密度上升到风冷难以承载时，液冷的经济性才充分体现。改造投入需要与节省的电费、提升的部署密度一起算总账，而不是只比较服务器单价。
一台服务器能跑多大的模型？怎么估算显存？
粗略的估算方法是：参数量乘以每个参数的字节数，再预留一定比例给优化器状态、梯度与激活值。以 FP16 推理为例，参数每个约占 2 字节，再叠加激活与缓存开销；训练时还需为优化器状态额外预留空间，占用会显著高于纯推理。举例来说，参数规模越大，单卡装不下的可能性越高，此时要么增加单机卡数，要么采用模型并行切分到多机。实际可用显存还要扣掉框架与驱动的开销，建议以实测为准。
国产 GPU 可以替代吗？
在部分场景下可以，关键看适配程度而非参数高低。判断维度包括：所用训练框架与推理引擎是否原生支持、常用算子库是否齐备、精度支持（如 BF16/INT8）是否满足、以及社区与厂商技术支持响应速度。有信创或供应链可控要求的行业，国产方案往往是必要性选择；对训练效率极度敏感且不受供应约束的场景，仍需以实测吞吐做决策。建议在 POC 阶段用真实模型对比，而不是只看理论算力。
服务器保修和备件要怎么考虑？
GPU 服务器属于高价值、低冗余设备，单机故障对训练任务影响明显。建议关注三点：整机保修年限与原厂响应时效、关键部件（GPU、主板、电源）是否提供备件先行更换、以及本地是否有服务网点。集群规模较大时，可考虑按比例预留关键备件，缩短平均修复时间，避免因单点故障导致长时间停机。
VISBAT 能提供哪些支持？
VISBAT 维思贝特提供从需求梳理到交付验收的支持：按模型与显存需求梳理配置、比较整机形态与品牌方案、评估机房供电制冷条件、协助编制采购配置单与 TCO 测算，并在到货后配合完成算力、网络、存储的验收压测。具体配置与报价需结合业务场景确定，以实际方案与厂商资料为准。
总结：先定需求，再定配置，然后才谈价格
AI 服务器选型的顺序不能颠倒：需求数字 → GPU 与整机形态 → 供电制冷约束 → 配置单与 TCO → 验收压测。跳过任何一步，都会在下单之后以更高的成本补回来。尤其要记住，价格只有在同一份配置单口径下才有比较意义。
VISBAT 维思贝特提供从需求梳理、配置对比、机房条件评估到交付验收的支持，覆盖智算服务器、AI 算力一体机、HPC / 超融合平台与并行存储方案。具体配置与报价需结合业务场景确定，正式采购请以厂商当时发布的产品资料与兼容性说明为准。
需要一份可对照下单的配置清单？
告诉我们模型规模与现有机房条件，我们可以协助梳理配置口径、比较整机形态，并给出三年 TCO 测算框架。