一起港湾 - AI技术分享社区

本地部署 Minimax H3 做数字人，成功将成本压到了1秒0.8毛钱，一分钟的成片视频不到5块钱(租赁40系)👇-声线由Index tts2复刻，用Fish audio调整情绪固化参数，再重新复刻固定参数，之后通过Index tts2直接本地制作 ...

0 0 一叶知秋瑟发表于昨天 21:05 Local LLM（本地大模型）

我通过 Strata 在 Arc A770 显卡上成功运行了 DeepSeek V4.1-Flash 模型。Strata 能够将大型 MoE（混合专家）模型拆分到显存（VRAM）、内存（RAM）和 NVMe 硬盘中进行处理。由于 Strata 的 DeepSeek 引擎原生仅支 ...

0 0 像昵发表于昨天 20:34 Local LLM（本地大模型）

发现了一个超级实用的 LLM应用宝库！收集了大量基于OpenAI、Anthropic等大模型构建的优秀示例，是学习/开发AI应用的绝佳资源。重点展示了AI Agents、RAG、MCP、多智能体、语音交互等技术在实际应用中的结合。GitH ...

0 0 喜喜兔发表于昨天 20:19 Local LLM（本地大模型）

我看到有的多张显卡插在一起运行大模型不明白怎么做的。

1 1 展菲发表于昨天 20:15 Local LLM（本地大模型）

本地跑大模型的工具越来越多，光推理引擎就有 Ollama、llama.cpp、vLLM，还没算模型和界面。LLMs-local 把本地跑大模型相关的资源整理到了一起，推理引擎、模型、硬件、教程都有。推理引擎收录了 Ollama、llama.cpp ...

0 0 风踏歌行发表于昨天 20:12 Local LLM（本地大模型）

本地大模型 function call 工具——local-llm-function-calling！可以让你本地部署的LLM快速接入function call 功能。注意这是一个专注function call功能的框架，适合与你的程序或应用集成。而不是直接使用。直接 ...

0 0 保洁员发表于昨天 20:10 Local LLM（本地大模型）

我最近一直在我的 Nimo 迷你主机（搭载 Ryzen AI Max+ 395 处理器，配备 128GB 内存）上测试 Qwen3.8-Flash-Next 模型。该模型的权重文件占用约 103.7 GiB 空间，能将其完整加载到内存中，这确实是个不错的开端。但 ...

0 0 还有什么不可以发表于昨天 20:07 Local LLM（本地大模型）

直说了吧：我变得越来越懒了。刚开始把 LLM 引入工作流程时，我给自己设了严格的“护栏”。当时我发誓，AI 生成的每一个决策或技术规范，我都会仔细阅读并评估，确认无误后再批准。结果呢？不出所料，这规矩没坚 ...

0 0 fjord 发表于昨天 20:05 Local LLM（本地大模型）

如题，请各位大佬推荐推荐，测一测日常的编程任务、以及跑一跑本地模型的推理、分析等任务可能也会玩一玩生图

0 0 郎头疼发表于昨天 20:02 Local LLM（本地大模型）

有没有人尝试过像 DeepSeek V4.1 Flash、Qwen 3.8 27B 或 GLM 5.3 Flash 这类开源模型的“去限制版”或“无审查版”？能直接按要求执行任务，而无需费尽心思寻找“越狱”方法，也不必被迫接受道德说教，这种体验实 ...

0 0 李二爷发表于昨天 20:01 Local LLM（本地大模型）

如果你正在使用 EXL3 (exllamav3/TabbyAPI) 运行 Qwen3-Next，且上下文长度被限制在 256k，只需修改配置文件，即可将其提升至 512k 或 1M。无需进行任何补丁操作或重新编译，因为 exllamav3 本身已内置支持 YaRN。以 ...

0 0 寻觅芳草地发表于昨天 19:59 Local LLM（本地大模型）

我开发了一款名为“Conduit”的开源应用，想与大家分享一个颇为独特的构思。我最初开发 Conduit，是为了解决现有 AI 聊天界面中令我感到困扰的三个问题：实现真正的对话分支、优化对话历史的导航方式，以及确保对 ...

0 0 啊哎呀发表于昨天 19:57 Local LLM（本地大模型）