1月18日讯,蚂蚁开源大模型技术Lookahead。Lookahead是一个推理加速框架,可以大幅提升大模型的推理效率,可将推理加速2-6倍。通过采用多分支策略,Lookahead能够在一次前向过程中生成更多的Token,进一步压榨硬件性能。(站长之家)