本文转自:人民日报客户端

施芳

4月27日上午,2024中关村论坛年会“人工智能主题日”主论坛——未来人工智能先锋论坛举办。会上,中国电信人工智能研究院和北京智源研究院联合发布Tele-FLM——520亿参数规模高性能开源多语言大模型。

据悉,Tele-FLM通过损失预测等技术,提高了基础模型的能力,BPB loss(损失值)指标在英文上优于Llama2-70B(Meta公司大语言模型2-700亿参数版本)和Llama3-8B(Meta公司大语言模型3-80亿参数版本),在中文上优于Qwen1.5-72(通义千问1.5-72)。经过微调的对话模型进行了客观、自动化的能力评测,评测结果显示,总分上Tele-FLM完成了对GPT-3.5-Turbo的超越。在分项得分中,Tele-FLM在总共的11个分项中有十项达到或超过GPT-3.5-Turbo水平。

仅今年,中国电信人工智能研究院便相继开源70亿参数规模、120亿参数规模大模型,吸引国内外开源社区开发者广泛讨论和使用。此次与智源联合发布的520亿参数规模Tele-FLM也已全面开源,基础模型已发布在Hugging Face网站上;核心技术如超参搜索、稳定训练等全面公开在GitHub网站上,超参搜索曲线、Loss曲线(损失值曲线)、过程评测等多维度训练细节也已在技术报告中详细阐述。

据悉,TeleAI将在年内开源千亿级参数大模型,构建全尺寸开源格局,通过更丰富的应用场景、更广泛的落地应用、更繁荣的行业生态,助力中国大模型技术进步与落地应用。