找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 2|回复: 0

Unsloth Studio开源:一个界面搞定LLM训练和运行

[复制链接]

4

主题

2

回帖

16

积分

新手上路

积分
16
发表于 3 小时前 来自手机 | 显示全部楼层 |阅读模式
【Unsloth Studio开源:一个界面搞定LLM训练和运行】

快速阅读:Unsloth团队推出开源Web UI工具Unsloth Studio,支持在Mac、Windows和Linux上本地训练和运行500+个LLM模型,训练速度提升2倍,显存占用减少70%。工具集成了模型对比、自动数据集生成、代码执行等功能,并计划支持AMD和MLX。

---

Unsloth Studio刚刚开源,这个工具想做的事情很直接:让普通人也能在本地训练和运行大语言模型。

GitHub: github.com/unslothai/unsloth

不是又一个模型推理工具。Unsloth Studio把训练和推理放在了同一个界面里,支持PDF、CSV、DOCX自动生成训练数据集,内置代码执行环境让模型能测试自己写的代码。训练方面的数据更实在:同样的7B模型,原本需要24GB显存,现在16GB就能跑。这个70%的显存节省不是营销话术,是QLoRA技术带来的实际改进。

有观点认为这是LM Studio的开源替代品,但团队说法是“互补”。实际上Unsloth做的事更多:支持GGUF、视觉、音频、嵌入模型,能并排对比不同模型的输出,还有自我修复的工具调用和网络搜索功能。导出格式也够全,GGUF、Safetensors都支持,甚至会自动调节推理参数。

安装过程暴露了Python生态的老问题。有用户抱怨它会自作主张安装nvm来管理Node版本,和已有的mise工具冲突。还有人在编译llama-server时遇到CUDA版本不匹配,或者因为硬盘空间不足下载失败。团队承诺Docker镜像已经上线,但这种“pip install就能用”的说法显然过于乐观了。

最让人期待的是训练功能的下放。以前微调模型是少数人的游戏,现在有网友说“终于可以把wizard-vicuña-dolphin-alpaca这些老带子翻出来了”。对Mac用户来说,MLX支持即将到来意味着苹果芯片也能参与训练。AMD官方代表已经在评论区表示会协助适配。

但有些限制还在:Pascal架构的GTX 1080显卡暂不支持,非对话型数据集也无法直接使用,多GPU的张量并行还在开发中。有用户想用它处理工程PDF里的图表,希望加入视觉语言模型来生成边界框标注,这种具体需求能不能实现还得看后续更新。

#AI创造营##人工智能#


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|一起港湾 ( 青ICP备2025004122号-1 )

GMT+8, 2026-3-19 11:09 , Processed in 0.168434 second(s), 20 queries .

Powered by Discuz! X3.5

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表