查看: 2|回复: 0

想死磕LLM推理的,这套东西值得盯死。

[复制链接]

9

主题

1

回帖

29

积分

新手上路

积分
29
发表于 昨天 21:58 | 显示全部楼层 |阅读模式
想死磕LLM推理的,这套东西值得盯死。

有老哥搞了一份LLM工程师实战手册time-to-first-token,每天半个小时,磨它10周,总共50堂课。从零垒一套能上生产的完整技术栈:

1️⃣ 先建认知模型,吃透Decode为什么撑爆显存、Prefill为什么吃满算力

2️⃣ 硬啃vLLM源码,PagedAttention和调度器核心逻辑一个不跳

3️⃣ 上Prometheus、Grafana,把TTFT和队列状态盯死

4️⃣ 直接怼1000+并发压测,FP8、INT4量化怎么取舍讲得明明白白

🔗 https://github.com/patchy631/time-to-first-token


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部