立个FLAG, 今年下半年应该是多模态Agent之年.

青青小草

立个FLAG, 今年下半年应该是多模态Agent之年.

龙虾这类的Agent框架本身system prompt 巨大无比 + 多轮对话积累的 prompt + 图片/视频模态本身嵌入后 token 量也不小, 所以目前最大的瓶颈反而又回到了 prefill 速度上, 即, 真正拼GPU性能的时代又回来了.

TFLOPS/TOPS 性能不够的情况下，多模态Agent的TTFT会非常长(10s以上), 导致完全不可用, 厂商会被迫压缩多模态模型的尺寸, 预测一波又会有一大堆新的 omni 模型出来了. 主打日常办事, 数学/代码能力不高, 但是多模态和Agent能力爆表且搭配极端注意力机制 (线性注意力/mHC/AttnRes)

##