腾讯混元推出0.3B端侧模型 内存占用仅600MB
观点机构
·广东
·观点机构官方网易号
观点网讯:2月10日,腾讯混元基于首个产业级2Bit端侧量化方案,正式推出面向消费级硬件场景的“极小”模型HY-1.8B-2Bit。
该模型等效参数量仅0.3B,内存占用仅600MB,通过对HY-1.8B-Instruct模型进行2比特量化感知训练产出。
相较于原始精度模型,HY-1.8B-2Bit等效参数量降低6倍,在保留原模型全思考能力的同时,端侧生成速度提升2—3倍,可在边缘设备无压力部署,是首个实现2Bit产业级量化的端侧模型实践。
免责声明:本文内容与数据由观点根据公开信息整理,不构成投资建议,使用前请核实。
热门跟贴