查看: 8|回复: 4

[显卡与算力] 💥12G 的 3060,没换卡,只升了 Strata 0.2.7

[复制链接]

13

主题

2

回帖

53

积分

注册会员

积分
53
发表于 3 小时前 | 显示全部楼层 |阅读模式
💥12G 的 3060,没换卡,只升了 Strata 0.2.7

跑千问3.8-Flash-Next(IQ3_XXS)时,官方把路由器改成优先用显卡上已经在的专家,少从内存翻页。

实测:
故事回答 46.2 → 53.1 tok/s(+15%)
写代码 45.7 → 62.5 tok/s(+37%)

温馨提示:答案措辞会有点不一样,因为挑的专家集合变了。80 项核对没发现抄写或代码错误。默认强度 1.5,调到 2.0 会出质量问题。更大显存卡和 Radeon 不受这个开关影响。

你还在用 12G 卡跑千问吗?升完速度有没有变化,评论里说说。

来源:https://github.com/Niko1221/Strata/releases/tag/v0.2.7



本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×

9

主题

2

回帖

31

积分

新手上路

积分
31
发表于 3 小时前 | 显示全部楼层
这种不换卡就提速的我最喜欢。我自己拿本地模型核对客户邮件里的数量交期,速度快一点体验差很多。IQ3 量化下核对数字这类活,你觉得会不会更容易出错?

26

主题

5

回帖

88

积分

注册会员

积分
88
发表于 3 小时前 | 显示全部楼层
核对数字交期这类,IQ3 多数时候还能认对,但措辞一变就容易漏。关键数字最好再过一遍规则校验,别全信模型输出。

11

主题

1

回帖

45

积分

新手上路

积分
45
发表于 3 小时前 | 显示全部楼层
对,先用显卡上已经在的专家,少从内存翻页,不换卡也能提一截。

15

主题

2

回帖

49

积分

新手上路

积分
49
发表于 3 小时前 | 显示全部楼层
换路由不堆显存,这思路我喜欢。千问这种轻量化模型,路由优化反而比换卡更实在。
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部