
有人把双卡机器上的 Strata 狠狠调了一遍,成果直接开源,还撂下一句「真不敢相信这种提升就白白摆在那儿」。按理说接下来该是一片叫好,可评论区最先冒出来的,是一句追问:快了这么多,质量到底掉没掉?
这套优化是照着 5090 加 4070 的双卡布局量身做的,全程用 Opus 5.5 和 Fable 5.2 一起折腾了一个多月。有人看了一圈没找着改动在哪,发帖人回了句实在话:那个仓库里装的就是所有补丁和模型分配方案,链接给的不是项目主页。
他反复强调一件事,权重跟原版一模一样,一个字没动。快出来的是「摆放」:把层切开分到两张卡上,把原本要从 SSD 现读的专家尽量塞进显存和内存里锁住。解码过程压根不去碰固态硬盘,顺手还修了工具调用解析和几个 bug。说白了,模型还是那个模型,只是喂它的路子顺了。
同机同模型文件的对比图也摆了出来:解码速度从 85 提到 251 tok/s;读 2 万 token 的提示从 65 秒缩到 10.3 秒,快 6.3 倍;8 万和 25 万 token 的长提示分别快 5.8 倍、5.5 倍;一路聊到 256K 上下文后,单轮响应快 6 倍。连工具调用这种容易翻车的地方,30 道过了 30 道,上游原版只过 9 道。数字挺唬人,可评论区盯的偏偏是另一栏。
点赞最高的一条说得毫不客气:酷是酷,可 Strata 原本跑出来的 ppl(困惑度)就已经偏得厉害,你这套跟它比还差多少?现在谈提速,一个字都不提质量怎么测,这种风气越来越常见了。
发帖人回得也直:没测 ppl,拿不出数字。权重和原版完全相同,提速全来自摆放,而且他给自己划了条硬红线,凡是会改动模型输出的东西一律不碰,所以结果理应和原版对得上。
这话没能把人说服,反倒招来更尖的一句:凭什么断定它没为了跑分好看动过手脚,吐出来的全是一堆垃圾?发帖人说随便给个基准他都跑;对方立刻接上,意思是你自己一个都没跑过,也就等于你并不知道。还有人把话挑明,把吐字机弄快有什么用,要是吐出来的全是垃圾;改动代码处理权重的方式,完全可能重创产出,就这么凭空快上几倍,多半是拿质量换的。
也有人替他讲公道话:给一台没针对这套硬件调过的引擎,光靠热专家缓存把速度提上来、又不碰质量,本来就有可能,说不定还有余量没榨干。更有人支了个省事的招,在 wikitext-2 上跑 ppl,同一份量化在 llama.cpp、Strata、这套优化版各来一遍,一次也就一分钟,帖子能好看一百倍。发帖人答仓库里已经做了;追问者看完认了,说数字比自己预想的好,干得漂亮。
催基准的没停。有人劝他干脆给上游提个合并请求,再补几组 agentic coding 基准,好证明模型没被「切了脑叶」;有人点名要看看那 91% 的 Livecodebench v6 分数被这套优化拉低多少;有人推荐 deepswe,说太长也能跑个有效子集;还有人提醒,别忘了拿日常设置也测一遍,比如开 thinking、temp 1.0,跟理论速度摆在一起才有对照。这回他全应了下来,说哪怕要跑上几个小时也认。
吵到后来,有人把官方文档搬了出来:Strata 自己写清楚了默认设置会怎么影响 logits,「偏掉」并非空口白话。
有懂行的接着解释,这些默认项是 Strata 早就大幅领先 llama.cpp 之后才补上的,随时能关,设两个环境变量就行:
"STRATA_ROUTE_TAIL_SKIP": "0",
"STRATA_ROUTE_PRIOR": "0",影响范围也有限,只在上下文超过 75K 之后才起作用;内存本来就不宽裕、跑不到那么长的人,压根碰不上,这也正是它们默认开着的原因。有人把话讲得很直白:这里头没有黑魔法,模型也没被动过脑子。Strata 走的是微专家流式,跟 llama.cpp 的层流式是两条路。这么一来能一次塞进尽可能多的专家,再按需要把冷的换出去,光这一条就撑起了它相对 llama.cpp 的 10 到 20 倍提速。
道理归道理,还是有人不买账:开箱即用的 Strata,准头确实不如 llama.cpp,有些设置激进到自己不敢用,好在能关;也有人反过来夸,Strata 把改动一条条写明白,没搞成只丢一句「信我」的黑盒子,这活儿做得地道。还有人把机制拆得更细:Strata 会拿一部分专家路由换速度,某个专家要是在内存里凉着、算起来太慢,就把活转交给显存里正热的那位,牺牲一点点准确率换个高得多的速度,在 CPU 算的专家和显存算的专家之间取平衡,拿到「够用」的 KL 散度就行。
有条评论把趋势点了出来:所谓超优化,从挑架构、挑具体的卡和模型,一路细到了「具体哪两张卡配哪个模型」的组合上。话锋一转又补了句实在的,原版和调好的版本之间,至少还摆着 3 倍差距,值得花这个功夫。
发帖人没否认,就说这套是照着这一对卡调的,同样的思路能挪到别的双卡组合上,数字搬不过去。有人问两张 3090 走 x8 能不能用,他说行,想要最好效果就把仓库拿下来,让 agent 照着自己的确切配置再调一遍;显存跟他一样、内存有 31GB 以上,模型就能整个装进去。有人追着问干嘛不做个通吃多卡的通用调优,他答得干脆,做通用没意义,最好还是拿仓库里的测试方法,让手头任意模型自己找优化路子。
单卡用户也不是完全没份。能挪过去的包括:把显存放不下的专家统统锁在内存里,让解码不碰 SSD;线程怎么摆;工具调用解析和那几个补丁。前提还是老话,显存加内存得装得下不含 n-gram 表的整份模型(UD-IQ3_XXS 大约 51 GiB),所以 3090 想吃到这份红利,最好配 64GB 内存;再少就得靠 SSD 硬扛,那种情况下上游本来也处理得不错。
真有人照着做了。一位网友让模型把自己的改动审了一遍,套到 9070 XT 加 64GB 内存的机器上:解码从 55~65 提到 72~88 tok/s(中位数约 80,涨 33%),2.6 万到 2.9 万 token 的提示从约 1450 提到 2141 tok/s(涨 47%),8.5 万 token 的长提示涨 42%,两三 K 的短追问少等约 22%,服务时还能多腾出 3 到 8GB 内存。换成日常采样(temp 1.0、top-k 20、top-p 0.95)再测,速度也就掉 1.5% 到 8%。照这势头,有人感慨我们还在 AI 曲线的开头,这样的循环往后还得再来好几轮,30、40、50 系的老卡新卡会被一路压榨到干出些离谱的事。
吵归吵,点赞很高的一条却冲着发帖人来:有些人在喷你,我觉得你压根不该挨这些。照自己这套配置一点点调、还想着保住模型输出,这活儿做得好;面对一堆挑刺不红脸不吵,更难得。他回得也坦诚,谢了,说自己确实该在发帖前把所有东西先测一遍。
也有人顺带操心起别的:这类分支越冒越多,要是父项目真藏着大把低效,最该做的还是把补丁合回上游;像 llama.cpp 那种想一台引擎伺候所有人的,最后免不了越堆越臃肿。
速度、质量、适用范围,三件事凑齐了才算数。这回速度先摆上了桌,剩下两样怎么补,评论区已经替他把清单列好了。
原文链接:
https://www.reddit.com/r/LocalLLaMA/comments/1xsl8w7/strata_after_heavy_optimizations/
仓库地址:
github.com/ExTV/strata-5090-4070
更新时间:2026-11-16
本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828
© CopyRight All Rights Reserved.
Powered By 61893.com 闽ICP备11008920号
闽公网安备35020302034903号