之前介绍过的项目“大道至简”minimind更新了不少。该项目会带你完全之前介绍过的项目“大道至简”minimind更新了不少。

对的事情

之前介绍过的项目“大道至简”minimind更新了不少。该项目会带你完全之前介绍过的项目“大道至简”minimind更新了不少。该项目会带你完全从0开始，仅用3块钱成本 + 2小时！即可训练出仅为25.8M的超小语言模型MiniMind。
地址：github.com/jingyaogong/minimind
它还有一个兄弟项目：训练小型视觉模型的 github.com/jingyaogong/minimind-v


最近更新的是RLAIF训练算法：PPO、GRPO、SPO（从0原生实现）
项目介绍：
大语言模型（Large Language Model, LLM）的出现引发了全世界对AI的空前关注。无论是ChatGPT、DeepSeek还是Qwen，都以其惊艳的效果令人叹为观止。然而，动辄数百亿参数的庞大规模，使得它们对个人设备而言不仅难以训练，甚至连部署都显得遥不可及。打开大模型的“黑盒子”，探索其内部运作机制，多么令人心潮澎湃！遗憾的是，99%的探索只能止步于使用LoRA等技术对现有大模型进行少量微调，学习一些新指令或任务。这就好比教牛顿如何使用21世纪的智能手机——虽然有趣，却完全偏离了理解物理本质的初衷。与此同时，第三方的大模型框架和工具库，如transformers+trl，几乎只暴露了高度抽象的接口。通过短短10行代码，就能完成“加载模型+加载数据集+推理+强化学习”的全流程训练。这种高效的封装固然便利，但也像一架高速飞船，将开发者与底层实现隔离开来，阻碍了深入探究LLM核心代码的机会。然而，“用乐高拼出一架飞机，远比坐在头等舱里飞行更让人兴奋！”。更糟糕的是，互联网上充斥着大量付费课程和营销号，以漏洞百出、一知半解的内容推销AI教程。正因如此，本项目初衷是拉低LLM的学习门槛，让每个人都能从理解每一行代码开始，从零开始亲手训练一个极小的语言模型。是的，从零开始训练，而不是仅仅进行推理！最低只需3块钱不到的服务器成本，就能亲身体验从0到1构建一个语言模型的全过程。一起感受创造的乐趣吧！
#How I AI#从0开始，仅用3块钱成本 + 2小时！即可训练出仅为25.8M的超小语言模型MiniMind。

地址：github.com/jingyaogong/minimind
它还有一个兄弟项目：训练小型视觉模型的 github.com/jingyaogong/minimind-v

最近更新的是RLAIF训练算法：PPO、GRPO、SPO（从0原生实现）
项目介绍：
大语言模型（Large Language Model, LLM）的出现引发了全世界对AI的空前关注。无论是ChatGPT、DeepSeek还是Qwen，都以其惊艳的效果令人叹为观止。然而，动辄数百亿参数的庞大规模，使得它们对个人设备而言不仅难以训练，甚至连部署都显得遥不可及。打开大模型的“黑盒子”，探索其内部运作机制，多么令人心潮澎湃！遗憾的是，99%的探索只能止步于使用LoRA等技术对现有大模型进行少量微调，学习一些新指令或任务。这就好比教牛顿如何使用21世纪的智能手机——虽然有趣，却完全偏离了理解物理本质的初衷。与此同时，第三方的大模型框架和工具库，如transformers+trl，几乎只暴露了高度抽象的接口。通过短短10行代码，就能完成“加载模型+加载数据集+推理+强化学习”的全流程训练。这种高效的封装固然便利，但也像一架高速飞船，将开发者与底层实现隔离开来，阻碍了深入探究LLM核心代码的机会。然而，“用乐高拼出一架飞机，远比坐在头等舱里飞行更让人兴奋！”。更糟糕的是，互联网上充斥着大量付费课程和营销号，以漏洞百出、一知半解的内容推销AI教程。正因如此，本项目初衷是拉低LLM的学习门槛，让每个人都能从理解每一行代码开始，从零开始亲手训练一个极小的语言模型。是的，从零开始训练，而不是仅仅进行推理！最低只需3块钱不到的服务器成本，就能亲身体验从0到1构建一个语言模型的全过程。一起感受创造的乐趣吧！
#How I AI#