查看: 2|回复: 0

EIS 部署前:CPU 节点,自行管理,每个模型一个节点。

[复制链接]

15

主题

1

回帖

47

积分

新手上路

积分
47
发表于 昨天 20:00 | 显示全部楼层 |阅读模式
EIS 部署前:CPU 节点,自行管理,每个模型一个节点。

EIS 部署后:由 Elastic 管理的 GPU 加速集群。

向量搜索和语义重排序都运行在您自行配置的 CPU 节点上。

模型越多,需要的运维基础设施就越多。

Elastic 推理服务 (EIS) 将这些计算任务迁移到由 Elastic 管理的 GPU 加速集群。

您仍然调用相同的推理 API,但集群可以扩展,您无需再进行维护。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部