本地想跑几百 GB 的大模型,普通电脑是不是直接就劝退了?
本地想跑几百 GB 的大模型,普通电脑是不是直接就劝退了?
colibri 换了个打法:显存、内存、硬盘一块儿用上,模型权重按需从硬盘流式加载。
纯 C 写的,零依赖,GitHub 上已经 2.5 万+ Star。
多种 MoE 模型都支持,官方还演示过用 CPU 流式跑 744B 级模型,常驻内存能压得很低。
更有意思的是它自带网页面板,连专家 ...
社区用户在华硕设备实测,运行Qwen3.8-Flash-Next模型时gufo出字达42–49词元/秒,高于llama.cpp的20–23词元/秒。
社区用户在华硕设备实测,运行Qwen3.8-Flash-Next模型时gufo出字达42–49词元/秒,高于llama.cpp的20–23词元/秒。
北京时间10月26日,有用户在社区发布测试,使用配置128GB统一内存的华硕ROG Flow Z13,对比了私有软件Halogen、开源引擎gufo与llama.cpp运行同一批模型文件的实际表现。
发帖人实测显示,出字速度上Haloge ...
Notion 功能全但要联网、吃内存(300–600 MB),Obsidian 轻却缺数据库和任务管理
Notion 功能全但要联网、吃内存(300–600 MB),Obsidian 轻却缺数据库和任务管理
Thought Desk 用 Rust + Tauri 2 做了个本地优先的中间路线,嵌套页面、块编辑器、八种视图的数据库、日历和闪卡全有,内存约 115 MB。
https://github.com/kusule1351-hue/thought-desk
...
刚刷到一个开源项目,离谱程度让我愣了好几秒😳
刚刷到一个开源项目,离谱程度让我愣了好几秒😳
PDF转Markdown这事儿,居然有人做到每秒100页,全程零收费,纯CPU跑满,GPU不沾、云不碰、API key都不用。
这货就是OpenDataLoader,各大跑分榜上横扫一片,榜首位置直接拿下。
几个对比摆出来你就明白了:
1️⃣ docling分数勉强能看,速度却被它甩开15倍
2️⃣ marker不 ...
🔥 用 RTX 显卡跑本地 AI 的朋友注意!🔥
🔥 用 RTX 显卡跑本地 AI 的朋友注意!🔥
最近开源项目 GPU-Unlock 解锁了 NVIDIA 对 GeForce RTX 卡的部分 AI 算力限制。
很多 RTX 20/30/40 系列卡(台式机+笔记本)在特定 Tensor 运算上出现了显著提升:
RTX 2080 Ti:+36~64%
RTX 3060:+78~99%
RTX 3070:+72~81%
RTX 3080:+68~73%
RTX 3090 Ti:BF16 约 +80%
RTX 40 ...
爆了!!!NVIDIA RTX 20、30、40 三代显卡的隐藏 AI 算力,居然都被民间大神破解了!!!🤯
老黄锁了这么多年的 Tensor Core 算力,居然被人直接解锁了,部分显卡的计算吞吐量甚至原地翻倍!
而且最离谱的是,不需要更换硬件,不用刷 BIOS,也不用魔改 NVIDIA 官方驱动。
直接从底层解除部分 Tensor Core 运算的性能限制。
目前社区已经公布了多个型号的测试结果:
🔹 RTX 4090:165.6 → 331.6 TFLOPS,直接翻 ...
买了台 Mac mini,分享下我现在怎么用的。
前两天合盖让 AI 写代码,MacBook 热得屏幕都黏上了 (强掰开),真怕再这么跑下去把电脑搞坏。
正好双 11,在京东蹲了个好价,买了台 Mac mini,分享下我现在怎么用的。
我维护的项目都在 GitHub 上,就给 MacBook 和 Mac mini 各弄了个脚本,每小时自动上传改动、拉取最新代码,换台电脑也能接着写,省得来回手动同步。
...
想象一下遇上“死亡红环”
https://x.com/i/status/2114094955069133022
让opus5.5跑了两天两夜,成功把SteamOS移植到我的旧手机上了
让opus5.5跑了两天两夜,成功把SteamOS移植到我的旧手机上了,看着它从内核开始,逐个搞定关键驱动移植,魔改上层系统,最后点亮屏幕,而我做的只是按几个组合键,插拔几下数据线,剩下的全由opus搞定。
目前在收尾阶段,后面我会开源该项目供大家参考
...
物理AI缺的不是模型,是四步数据闭环?
物理AI要落地,卡点往往不在模型本身,而在数据怎么来、怎么信、怎么用。Vangrid提出的四支柱框架,把这件事拆成了四个动作。
第一根柱子是采集(Capture)。把物理世界的数据带进网格,靠的是人、手机和传感器。数据源头不局限于专业设备,普通终端也被纳入采集链路。
第二根柱子是验证(Verify)。确保数据的来源可追 ...
看到这个消息诶
一个月6度电、营业额4.5W+,我把工作室的MacMini变成了24小时运作的AI服务器…
一个月6度电、营业额4.5W+,我把工作室的MacMini变成了24小时运作的AI服务器…
一台 Mac mini,如何变成 24 小时在线的本地 AI 服务器?本期视频小宇将带你完成基础设置,并部署 Hermes、Docker、UU 远程和 Tailscale,解锁远程办公与 AI 自动化!
https://www.youtube.com/watch?v=l-bncHLXu_M
...
说实话,我一开始也没搞懂英伟达到底凭什么横成这样——直到把这篇翻来覆去读了三遍。
说实话,我一开始也没搞懂英伟达到底凭什么横成这样——直到把这篇翻来覆去读了三遍。
2018 年两位图灵奖得主当时撂下一句话:计算机架构要来一场寒武纪大爆发;今天回头看,这事还真就发生了。
GPU、TPU、LPU、NPU 各种架构全蹦出来,抢着做 AI 的算力买卖。
局面我捋了一下,大概是这么个情况:
1️⃣ 英伟达跑在最前 ...
本地大模型工具选择。在电脑端部署本地大模型,工具应该怎么选?Windows/MacOS 有什么不同?
本地大模型工具选择。在电脑端部署本地大模型,工具应该怎么选?Windows/MacOS 有什么不同?
针对小白用户和技术极客,应该如何选择适合自己的工具?
每个工具在不同系统中速度对比如何?
我来为大家介绍主流的本地大模型工具的选择。
AI
...
Magpie 简直是神器,已经离不开了🥹
@yetone
的 Magpie 简直是神器,已经离不开了🥹
用 ESP32-S3-Touch-AMOLED-2.16 给它做了一个仪表盘,顺手看调用情况、请求记录、会话统计、Token 用量信息
另外再给大家同步个好玩的东西, 已经搞了一周了.
另外再给大家同步个好玩的东西, 已经搞了一周了. 这个如果能做成功, 大家手里的Qwen3.8-27B, Qwen3.6-35B-A3B, Qwen3.8-Flash-Next 的速度能在开启MTP的情况下再原地提升16%左右. 我会直接发一个llama.cpp / mlx 版本, 开箱即用. 祝我成功吧.
...
总价1400 元装机,本地跑 Qwen3.8-Flash-Next,实测 30~50token/s
1400 元出头捡垃圾 X99 平台,搭配 P100 计算卡,完整装机 + Ubuntu 部署 Strata,本地跑 Qwen3.8-Flash-Next IQ3 量化版本。
实测平均 30+ token/s,峰值可达 50token/s,可以跑 AI Agent 任务,生成 3D 场景等。
客观说明:P100 的 prefill 速度偏弱,这套方案更适合 Strata,对其他大模型兼容性一般。
硬件清单:X99D3 ...
如何优雅地白嫖 DeepSeek Flash 4.1 模型。
如何优雅地白嫖 DeepSeek Flash 4.1 模型。
1. 安装神器 Magpie —— 把账号、订阅转化成标准 AI API 形式,给任何 AI 工具调用。
2. 注册免费的 Workbuddy(腾讯国际版),提供免费的 DeepSeek Flash 4.1 模型。
3. 注册免费的 OpenCode Zen,同样提供免费的 DS。
4. DeepSeek 官网付费一点点钱,官方 API 兜底。
在 Mag ...
我和 Codex 对抗着整个世界。
今天是星期天,
我和 Codex
对抗着整个世界。
扎克伯格刚在外网晒了自己的办公桌。有钱的一种朴实无华。