订阅

Local LLM(本地大模型) 今日: 0|主题: 12|排名: 1 

  • 隐藏置顶帖 置顶 一起港湾 (17GW.com) 论坛发帖须知
    欢迎来到 一起港湾 (17GW) 社区!这里是 AI 技术爱好者、数码极客和生活分享者的精神家园。为了维护港湾的纯净秩序与技术氛围,请在开启您的分享之旅前,仔细阅读并遵守以下发帖规范。 一、 核心发帖准则 [*]主题契合,精准归类:请确保内容与所属版块(如 AI 技术、数码维修、资源分享等)相关。标题应简明扼要,避免“ ...
    11140 teanzhong 发表于 2026-3-29 站务公告与反馈
  • 本地部署 Minimax H3 做数字人,成功将成本压到了1秒0.8毛钱,一分钟的成片视频不到5块钱(租赁40系)👇 New
    本地部署 Minimax H3 做数字人,成功将成本压到了1秒0.8毛钱,一分钟的成片视频不到5块钱(租赁40系)👇 -声线由Index tts2复刻,用Fish audio调整情绪固化参数,再重新复刻固定参数,之后通过Index tts2直接本地制作 -人物由Midjourney融合了几个美女网红炼化而成 -视频由本地部署的Minimax H3制作 过去我制作这个数字人, ...
    013 一叶知秋瑟 发表于 昨天 21:05 Local LLM(本地大模型)
  • DeepSeek V4.1-Flash 在单张 Arc A770 16GB 显卡上运行:提示词处理速度为 45 tok/s,生成速度为 5 tok/s(基于社区版 SYCL 移植的 Strata) New
    我通过 Strata 在 Arc A770 显卡上成功运行了 DeepSeek V4.1-Flash 模型。Strata 能够将大型 MoE(混合专家)模型拆分到显存(VRAM)、内存(RAM)和 NVMe 硬盘中进行处理。由于 Strata 的 DeepSeek 引擎原生仅支持 CUDA、HIP 和 Metal,因此我针对 Arc 平台进行了 SYCL 移植。虽然这属于非官方版本且仍在开发完善中,但 ...
    014 像昵 发表于 昨天 20:34 Local LLM(本地大模型)
  • 发现了一个超级实用的 LLM应用宝库! New
    发现了一个超级实用的 LLM应用宝库! 收集了大量基于OpenAI、Anthropic等大模型构建的优秀示例,是学习/开发AI应用的绝佳资源。 重点展示了AI Agents、RAG、MCP、多智能体、语音交互等技术在实际应用中的结合。 GitHub: https://github.com/Shubhamsaboo/awesome-llm-apps.git1/11 使用方式超简单:git clone https://githu ...
    013 喜喜兔 发表于 昨天 20:19 Local LLM(本地大模型)
  • 跑本地大模型怎么把多个显卡连起来的? New
    我看到有的多张显卡插在一起运行大模型不明白怎么做的。
    113 展菲 发表于 昨天 20:15 Local LLM(本地大模型)
  • 本地跑大模型的工具越来越多,光推理引擎就有 Ollama、llama.cpp、vLLM,还没算模型和界面。 New
    本地跑大模型的工具越来越多,光推理引擎就有 Ollama、llama.cpp、vLLM,还没算模型和界面。LLMs-local 把本地跑大模型相关的资源整理到了一起,推理引擎、模型、硬件、教程都有。推理引擎收录了 Ollama、llama.cpp、vLLM 这些,界面有 Open WebUI、Lobe Chat,模型按用途分好了类。GitHub:http://github.com/0xSojalSec/L ...
    014 风踏歌行 发表于 昨天 20:12 Local LLM(本地大模型)
  • 本地大模型 function call 工具——local-llm-function-calling!可以让你本地部署的LLM快速接入function call 功能。 New
    本地大模型 function call 工具——local-llm-function-calling!可以让你本地部署的LLM快速接入function call 功能。 注意这是一个专注function call功能的框架,适合与你的程序或应用集成。而不是直接使用。直接使用建议试试llama.cpp或者ollama。 框架地址:http://github.com/rizerphe/local-llm-function-calling ...
    014 保洁员 发表于 昨天 20:10 Local LLM(本地大模型)
  • 我曾为了运行更大的模型而配置了 128GB 内存。但在尝试过一个 125B 参数的 MoE(混合专家模型)后,我不禁怀疑:模型是否越大就一定越好? New
    我最近一直在我的 Nimo 迷你主机(搭载 Ryzen AI Max+ 395 处理器,配备 128GB 内存)上测试 Qwen3.8-Flash-Next 模型。该模型的权重文件占用约 103.7 GiB 空间,能将其完整加载到内存中,这确实是个不错的开端。但经过深入体验后,我不确定“尽可能运行最大的模型”是否真的是利用这些内存的最佳方式。 以下是我使用 Gufo ...
  • 我正在“无脑”通过大语言模型(LLM)生成的代码,感觉脑子都要锈掉了。大家平时是怎么保持思维敏锐度的? New
    直说了吧:我变得越来越懒了。 刚开始把 LLM 引入工作流程时,我给自己设了严格的“护栏”。当时我发誓,AI 生成的每一个决策或技术规范,我都会仔细阅读并评估,确认无误后再批准。 结果呢?不出所料,这规矩没坚持多久就崩了。 最近,我基本只是扫一眼就过了。要是赶上加班到深夜?那更别提了——我甚至连看都不看,直 ...
    011 fjord 发表于 昨天 20:05 Local LLM(本地大模型)
  • 想上手本地 llm,m3max 128gb 内存有没有什么适合和推荐的玩法? New
    如题,请各位大佬推荐推荐,测一测日常的编程任务、以及跑一跑本地模型的推理、分析等任务可能也会玩一玩生图
    011 郎头疼 发表于 昨天 20:02 Local LLM(本地大模型)
  • “无审查”模型真是太棒了 New
    有没有人尝试过像 DeepSeek V4.1 Flash、Qwen 3.8 27B 或 GLM 5.3 Flash 这类开源模型的“去限制版”或“无审查版”? 能直接按要求执行任务,而无需费尽心思寻找“越狱”方法,也不必被迫接受道德说教,这种体验实在太爽了。很好奇大家平时都用这些模型来做什么? 我个人最喜欢的是“无审查版” DeepSeek V4.1 Flash,运 ...
    012 李二爷 发表于 昨天 20:01 Local LLM(本地大模型)
  • 在本地运行 Qwen3-Next (Qwen3.8-flash) 并开启 1M 上下文 New
    如果你正在使用 EXL3 (exllamav3/TabbyAPI) 运行 Qwen3-Next,且上下文长度被限制在 256k,只需修改配置文件,即可将其提升至 512k 或 1M。无需进行任何补丁操作或重新编译,因为 exllamav3 本身已内置支持 YaRN。以下是突破 256k 限制所需的具体修改步骤: 该模型权重的原生上下文长度为 262144 (256k),`rope_type` 默认 ...
    012 寻觅芳草地 发表于 昨天 19:59 Local LLM(本地大模型)
  • 一种适用于 Gemini 的“Conduit 应用”式界面(支持真正的对话分支) —— 致 AI 聊天界面开发者 —— New
    我开发了一款名为“Conduit”的开源应用,想与大家分享一个颇为独特的构思。 我最初开发 Conduit,是为了解决现有 AI 聊天界面中令我感到困扰的三个问题:实现真正的对话分支、优化对话历史的导航方式,以及确保对话内容能够长期保存在本地,由用户完全掌控。 在使用几个月后,我得出了一个意想不到的结论:我其实并不想 ...
    012 啊哎呀 发表于 昨天 19:57 Local LLM(本地大模型)
  • 快速发帖

    还可输入 120 个字符
    您需要登录后才可以发帖 登录 | 立即注册

    本版积分规则

    关注公众号

    相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

    Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

    在本版发帖
    关注公众号
    返回顶部