有人问 Kimi K3 开权重后,普通团队要准备多少卡。我先把口径说清楚:下面的数字来自 SGLang 官方 K3 cookbook 公开的部署形态,不是我对吞吐、并发或成本的承诺。
K3 是 2.8T 参数的 MoE,官方给出的权重格式是 MXFP4。4 bit 只算权重本体,理论下限约 1.4TB;量化尺度、运行时、通信缓冲和上下文缓存都还要占显存。所以不能拿“单 token 激活 104B”直接除以显存,得出卡数。

图 1|按官方 recipe 的卡数整理。卡数是起始部署形态,不代表可用并发。
B300、GB300 和 MI350X/MI355X 的公开形态是 8 张卡。这个档位适合做模型验证、接口联调和短上下文试跑,先确认权重、量化路径、视觉输入和工具调用能不能正常工作。
如果要上 1M 上下文、混合长短请求或跑多 Agent,8 张卡的显存余量和缓存空间会很快成为限制。能启动,不等于能扛住业务。
B200、GB200 和 H200 的公开形态是 16 张卡:B200 为 2×8,GB200 为 4×4,H200 为 2×8。这个档位可以开始测并发、前缀缓存命中、工具调用和长短请求混跑,但仍要看具体卡型的显存、互联和推理引擎支持。
H200 不是“16 张就一定够”。如果上下文很长,KV Cache 和 KDA 状态会继续占空间;如果并发上来,通信和缓存命中率比单纯增加卡数更重要。
SGLang cookbook 给出的 H100 形态是 4×8,共 32 张卡,并使用针对 H100 的 Marlin 与 FlashMLA 路径。H100 不是不能跑,而是需要更多卡来覆盖权重常驻、并行通信和运行时余量。
如果手里只有 8 张 H100,我不会把目标写成“部署 K3 服务”,最多把它定义成等待更小权重、做组件适配,或接远程推理服务。硬把 2.8T 模型压进 8 张卡,首先遇到的是内存,不是模型智力。
国内算力平台有人民币时租价。按查询时的每卡起租价,乘以官方 recipe 所需卡数,大致是下面这笔账:
GPU 形态每小时跑一天跑 30 天
8×B300561.60 元1.35 万40.4 万
16×H200599.04 元1.44 万43.1 万
16×B200914.88 元2.20 万65.9 万
32×H100973.44 元2.34 万70.1 万
粗算口径:B300 70.20 元/卡·小时,H200 37.44 元/卡·小时,B200 57.18 元/卡·小时,H100 SXM5 30.42 元/卡·小时;一天按 24 小时,30 天按 720 小时。未计 CPU、内存、系统盘、额外存储、网络和税费。
B300 单卡更贵,但 8 张就是官方起步形态;H100 单卡租金低一些,却要堆到 32 张。所以一个月的纸面成本,反而从 40 万拉到了 70 万。卡便宜,不等于整套部署便宜。
这不是中国大陆机房的现货报价。查询时,H200、B200 显示暂时无货,页面上的可用资源位于加拿大、美国或芬兰数据中心。有价格,不代表当时能拿到足够的同型卡和所需互联拓扑。
采购价比云租价更难对齐。国际市场常见的是 DGX/HGX 八卡整机或八卡板卡报价,国内公开信息里又混着模组、期货、现货和整机。我把能核对的数字按同一套 K3 卡数折了一遍:
K3 方案国际行情国内行情
8×B30030万—50万美元
约216万—360万元期货约600万元
现货约800万元
16×H20080万—100万美元
约576万—720万元两套8卡模组约300万元
完整整机另算
16×B20056万—64万美元
约403万—461万元缺少稳定公开成交价
渠道与集成费用另计
32×H100仅四套8卡板卡约86.4万美元
约622万元起渠道、成色差异很大
没有可靠统一价
国际价格按 1 美元≈7.2 元人民币做量级换算。B300、B200、H200采用公开八卡系统区间;H100采用约21.6万美元/八卡板卡的市场锚点,尚未计入四套服务器平台和跨机高速网络。
这张表里最容易看错的是 H200。国内公开的150万元是八卡模组价,不是完整服务器价。两套模组约300万元,只解决了 GPU 与互联的主体部分,CPU、内存、存储、机箱、供电、散热和跨机网络还在后面。
B300 的国内价格最扎眼。2026年6月公开市场信息里,八卡整机期货约600万元,现货约800万元,明显高于国际市场的系统价格锚点。这里面不只有GPU,还叠加了交期、内存、系统配置和渠道溢价。
B200 和 H100 我不想硬补一个国内均价。两者公开成交信息不完整,单卡、二手卡、板卡和整机经常混在一起。真做采购预算,至少要让供应商把GPU形态、服务器型号、NVSwitch、IB/RoCE网络、保修、税票和交付时间写进同一张报价单。
所以答案不是“K3 需要多少张卡”,而是“你要验证什么”。只想把模型跑起来,8 张卡是官方 recipe 的起点;要做稳定服务,至少从 16 张卡开始压测;H100 则按 32 张的公开形态规划。
先把卡数和目标写在一张表上,再谈模型能不能落地。别拿能启动,冒充能上线。
参考来源
文中涉及的商业观察、行业分析及创业经历描述,来源于公开数据与算法生成,不构成任何投资建议、商业预测或法律意见。

词元武工队,一群老登+一个实习生搞AI的草台组织。
几个虚构的化名角色,若干真实的工程师故事。
素材源自生活,内容AI辅助生成。如有雷同,或非巧合。
更新时间:2026-07-31
本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828
© CopyRight All Rights Reserved.
Powered By 71396.com 闽ICP备11008920号
闽公网安备35020302034903号