查看: 5|回复: 0

想深入搞LLM推理的同学,这套东西值得关注。

[复制链接]

13

主题

1

回帖

41

积分

新手上路

积分
41
发表于 昨天 21:19 | 显示全部楼层 |阅读模式
想深入搞LLM推理的同学,这套东西值得关注。

有人整理了一份LLM工程师训练手册,每天30分钟,练10周,一共50课。不是那种拼凑的Demo,是真带你从头搭生产级技术栈:

1️⃣ 建思维模型,搞懂Decode为什么卡显存、Prefill为什么卡算力
2️⃣ 啃vLLM源码,PagedAttention和调度器逻辑一个不落
3️⃣ 上Prometheus、Grafana盯着TTFT和队列
4️⃣ 直接干1000+并发压测,FP8、INT4量化取舍讲透
学完手里有一套能跑的生产级技术栈,外加一份能拿出手的跑分报告。
🔗 https://github.com/patchy631/time-to-first-token
顺手点个star。作者还在给每个主题写长文,第一篇讲GPU到底怎么干活的,已经发了。


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部