查看: 6|回复: 0

把本地大模型的下载、推理服务运行和对话、语音、图片、视频、OCR、翻译等应用收进一个桌面工作台,免去在多个工具之间来回切换,全程本地优先。

[复制链接]

26

主题

2

回帖

82

积分

注册会员

积分
82
发表于 昨天 19:23 | 显示全部楼层 |阅读模式
把本地大模型的下载、推理服务运行和对话、语音、图片、视频、OCR、翻译等应用收进一个桌面工作台,免去在多个工具之间来回切换,全程本地优先。

https://github.com/kunpengtalk/OmniStudio

模型市集基于 ModelScope 搜索并支持 GGUF、safetensors 等全格式下载,带队列并发、断点续传与能力分类;推理侧统一抽象 llama.cpp、vLLM、SGLang 三引擎并可热切换,同时内置 20 家 OpenAI 兼容云厂商预设与远程端点直连。


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部