一起港湾 - AI技术分享社区

自己搭个本地 AI 服务器，以前有多折腾你心里有数：Ollama、Open WebUI、n8n、ComfyUI 一个个装、一个个连，装到怀疑人生。如今有个玩意儿叫 ODS，一行命令全给你装妥、接好，还自动按你的硬件挑模型，装完打开 lo ...

0 204 凉凉凉了发表于 2026-10-4 AI 硬件与部署

以防有人不知道 > 12GB 显存的游戏电脑，已经能跑 125B 参数的大模型，最快每秒写 94 个 token 🫢这个模型叫 Qwen3.8-Flash-Next，由一堆「专家」组成，每个 token 只用 6B 参数。开源推理引擎 Strata 把常用专家 ...

0 199 密斯特真行发表于 2026-10-4 AI 硬件与部署

我的随身电脑是一台$50买来的旧Chromebook，2G内存，16G硬盘。它自己当然干不了什么活儿，但是装上Linux系统之后，在tailscale和我不限流量的手机套餐加持下，我可以随时随地远程桌面到家里的强劲机器，以及ssh到我 ...

0 217 小米的爸爸发表于 2026-10-3 AI 硬件与部署

在边缘昏昏欲睡......这东西一开始只有不到900块，前段时间1200买了6张，现在这东西快涨到1400+了，因为倒腾双卡2080ti的那群人发了几个视频评价/推荐T10 16G。如果你还在想改32G和激活NVLink的事情，我只能说没 ...

0 226 一念法界发表于 2026-10-2 AI 硬件与部署

2B 参数的小模型，现在也开始能干活了？OpenBMB 的 MiniCPM5-2B，主打本地小硬件运行。有人把它接进 CI 修复 Agent，丢了一个“结算重试导致运费重复计算”的 Bug 给它。模型自己复现问题、翻代码、定位原因，最 ...

0 222 我爱榛子发表于 2026-9-28 AI 硬件与部署

2.78万亿参数，8GB内存，单颗CPU，这组合够离谱。kimi-k3-in-c 这个开源项目，愣是用 176KB 的可移植 C99 代码把超大 MoE 带了起来，CUDA、PyTorch、BLAS 一概不用，GPU 也免了。1️⃣ 896 个专家里，每个 Token ...

0 206 茵梦湖发表于 2026-9-28 AI 硬件与部署

0 251 糖球球发表于 2026-9-27 AI 硬件与部署

0 209 Rcpchina 发表于 2026-9-26 AI 硬件与部署

以紧凑机身提供强劲工作站级性能，助您运行本地 AI、大语言模型（LLM）及创意类工作负载。MS-S1 MAX 搭载 AMD Ryzen™ AI Max+ 395 处理器，具备高达 126 TOPS 的 AI 算力，并支持最高 128GB LPDDR5x 统一内存。使用 ...

0 135 永不死机发表于 2026-9-25 AI 硬件与部署

🔥低成本本地部署方案，12GB RTX3060 跑通 MiMo-V2.6-Distill-Qwen-9B，262K 超长上下文本地推理。采用 Q5_K_M 量化，搭配 Q8 KV 缓存、Flash Attention。性能：解码约 47 tok/s，预填充约 1600 tok/s。模型基于 ...

0 142 halczy 发表于 2026-9-25 AI 硬件与部署

17美元、25分钟，微调出一个自己的 Jev 决策模型来自 @togethercompute 团队 @nutlope 的实操教程，基于 Qwen3.5 4B，花 17 美元、约 25 分钟，微调出一个自己的“Jev 式”决策模型并部署成 API。同时他们把 ...

0 262 情牵百子归柜发表于 2026-9-24 AI 硬件与部署

以前折腾 TTS，要么上 GPU，要么接付费 API。Kyutai 最近开源了 Pocket TTS，只有约 1 亿参数，主打直接在 CPU 上本地运行。在 MacBook CPU 上，官方测试最高接近 6 倍实时速度，首个音频块大约 200ms 就能生成 ...

0 122 车险小周发表于 2026-9-24 AI 硬件与部署

5.6 Luna：输入：0.25 美元/M 缓存输入：0.02 美元/M 输出：1.2 美元/M6 Luna: 输入：0.125 美元/M 缓存输入：0.01 美元/M 输出：0.5 美元/M输入降幅 50%，输出降幅 58%。AAI Index 单任务价格和 Token 效率 ...

0 132 淑女红红发表于 2026-9-23 AI 硬件与部署

不想把 AI 和数据交给云厂商，也不想折腾复杂部署？Olares 提供了一种本地 AI 云方案：把计算、存储和应用管理放回自己的硬件上。它支持：一键部署本地 AI 模型GPU 资源自动调度搭建私有知识库应用沙箱隔离 ...

0 281 像昵发表于 2026-9-14 AI 硬件与部署

“一张 16GB 显卡，也能跑 27B 大模型。”看到这句话，先别急着下载权重。你还需要知道：用了什么量化？上下文开了多长？模型是否全部放在显存里？所谓“快”，指开始回答快，还是回答时每秒生成的 token 多？ ...

0 277 丫丫快递发表于 2026-9-14 AI 硬件与部署