清华GLM4-9B系列模型开源，全面超越Llama3-8B|glm|上下文|代码|模态|清华|调用

始智AI wisemodel.cn开源社区

始智AI wisemodel.cn社区将打造成huggingface之外最活跃的中立开放的AI开源社区。欢迎《》以及《》。

2024年6月5日智谱AI开源了GLM-4-9B系列模型，模型性能全面超越Llama3-8B模型。GLM-4-9B使用了10T 高质量多语言数据进行训练，数据量是 ChatGLM3-6B 模型的 3 倍以上。同时，采用了 FP8 技术进行高效的预训练，相较于第三代模型，训练效率提高了 3.5 倍，预训练计算量增加了 5 倍。

GLM-4-9B 模型具备了更强大的推理性能、更长的上下文处理能力、多语言、多模态和 All Tools 等突出能力。本次开源的GLM-4-9B 系列模型包括：基础版本 GLM-4-9B（8K）、对话版本 GLM-4-9B-Chat（128K）、超长上下文版本 GLM-4-9B-Chat-1M（1M）和多模态版本 GLM-4V-9B-Chat（8K）。

基础能力

基于强大的预训练基座，GLM-4-9B 的模型中英文综合性能相比 ChatGLM3-6B 提升了 40%，尤其是在中文对齐能力 AlignBench，指令遵从 IFeval，工程代码 Natural Code Bench 方面都取得了非常显著的提升。对比训练量更多的 Llama-3-8B 模型也没有逊色，英文方面有小幅领先，中文学科方面更是有着高达 50% 的提升，主要评测结果上全面超越Llama3-8B。

长文本能力

GLM-4-9B 模型的上下文从 128K 扩展到了 1M tokens，这意味着模型能同时处理 200 万字的输入，大概相当于 2 本红楼梦或者 125 篇论文的长度。

GLM-4-9B-Chat-1M 模型在 1M 的上下文长度下进行了“大海捞针”实验，展现出了出色的无损处理能力。

多语言能力

GLM-4-9B 支持包括汉语、英语、俄语、西班牙语、德语、法语、意大利语、葡萄牙语、波兰语、日语、荷兰语、阿拉伯语、土耳其语、捷克语、越南语、波斯语、匈牙利语、希腊语、罗马尼亚语、瑞典语、乌克兰语、芬兰语、韩语、丹麦语、保加利亚语和挪威语在内的 26 种语言。

为了提升性能，tokenizer 的词表大小从 65k 扩充到了 150k，这一改进使得编码效率提高了 30%。在多语言能力方面，在六个不同的多语言理解和生成数据集上进行了测试，结果显示 GLM-4-9B-Chat 显著超越 Llama-3-8B-Instruct。具体评测结果如下：

Function Call能力

GLM-4-9B 模型的函数调用能力更是迎来了巨大的升级，相比ChatGLM3-6B 模型提升了 40%，在 Berkeley Function-Calling Leaderboard 上，GLM-4-9B 模型的 Function Call 能力与 GPT-4 不相上下。

All Tools能力

“All Tools”即模型能够理解和使用一系列外部工具（比如代码执行、联网浏览、画图、文件操作、数据库查询、API 调用等）来辅助回答问题或完成任务。

多模态能力

此次推出了基于GLM基座的开源多模态模型GLM-4V-9B，与CogVLM2相似的架构设计，能够处理高达1120 x 1120分辨率的输入，并通过降采样技术有效减少了token的开销。为了减小部署与计算开销，GLM-4V-9B没有引入额外的视觉专家模块，采用了直接混合文本和图片数据的方式进行训练，在保持文本性能的同时提升多模态能力。

在性能方面，GLM-4V-9B模型展现了显著的优势。尽管其参数量仅为13B，但它成功地超越了许多参数量更大的开源模型。在众多任务中，GLM-4V-9B的性能与GPT-4V不相上下。

链接：

Github：

https://github.com/THUDM/GLM-4

wisemodel：

https://wisemodel.cn/organization/ZhipuAI

----- END -----

始智AI wisemodel开源社区最近上线了开源模型的在线体验功能，已经有近50个大模型可以直接进行在线体验。在线体验的创建无需任何代码开发，人人都可以来玩开源大模型。欢迎前往wisemodel.cn社区进行体验，若需指引可以参考《》。大家研发的模型也可以发布到wisemodel社区，同时适配一下wisemodel-API，相应模型就可以直接在线运行了。如果有需要模型的在线推理运行托管服务，也欢迎联系我们。

加入wisemodel社群

wisemodel相关

系统升级

系列模型：

关于wisemodel更多

欢迎持续关注和支持

开源社区建设需要长期坚持和投入，更需要广大用户的积极参与、贡献和维护，欢迎大家加入wisemodel开源社区的志愿者计划和开源共创计划。期待更多开发者将开源成果，包括模型、数据集和代码等发布到 wisemodel.cn 社区，共建中立、开放的AI开源社区生态。欢迎扫码添加wisemodel微信，申请加入wisemodel社群，持续关注wisemodel.cn开源社区动态。

欢迎加盟wisemodel开源社区

始智AI wisemodel社区自2023年9月上线以来，逐渐成为影响力日益扩大的中立开放的AI开源社区，为了加快公司发展，我们长期需要技术、运营等人才加盟，技术侧重在AI infra、后端开发，熟悉K8S、模型训练和推理等技术，以及熟悉开发者生态运营的成员，欢迎感兴趣的朋友加盟，可以通过添加wisemodel微信，或者将简历投递到邮箱：liudaoquan@wisemodel.cn

欢迎投稿优质内容

欢迎投稿分享人工智能领域相关的优秀研究成果，鼓励高校实验室、大企业研究团队、个人等，在wisemodel平台上分享各类优质内容，可以是AI领域最新论文解读、最新开源成果介绍，也可以是关于AI技术实践、应用和总结等。投稿可以发邮件到liudaoquan@wisemodel.cn，也可以扫码添加wisemodel微信。

关于wisemodel开源社区

始智AI wisemodel.cn开源社区由清华校友总会AI大数据专委会副秘书长刘道全创立，旨在打造和建设中立开放的AI开源创新社区，将打造成“HuggingFace”之外最活跃的AI开源社区，汇聚主要AI开源模型、数据集和代码等，欢迎高校科研院所、大型互联网公司、创新创业企业、广大个人开发者，以及政府部门、学会协会、联盟、基金会等，还有投资机构、科技媒体等，共同参与建设AI开源创新生态。

向上滑动查看