现在有个东西叫 ODS，一条命令全给你装利索、连好，还会照着你的硬件自动挑模型，装完打开 localhost:3000 就能直接开聊。
我觉得最爽的是这几点：
1️⃣ 模型跑在本地，prompt 和数据全在自己机器上，不上云
2️⃣ 一个面板管模型、服务、GPU 状态
3️⃣ 语音、agent、工作流、RAG、出图全都打包好了
4️⃣ 没显卡也成，能切云端 API 模式
不用订阅，不用云，Linux、Mac、Windows 都支持。想折腾私有 AI 的，这个省事。
🔗 https://github.com/Osmantic/ODS