![](http://dingyue.ws.126.net/2024/0821/4208b1b9j00sik4m70015d200u000cvg00it0082.jpg)
新智元报道
编辑:耳朵 好困
【新智元导读】微软Phi 3.5系列上新了!mini模型小而更美,MoE模型首次亮相,vision模型专注多模态。
就在今天,微软「小语言模型」系列正式升级,最新的Phi 3.5版本一口气连发三款模型——
- 38.2亿参数的Phi-3.5-mini-instruct
- 419亿参数的Phi-3.5-MoE-instruct
- 41.5亿参数的Phi-3.5-vision-instruct
![](http://dingyue.ws.126.net/2024/0821/0bb39bdcj00sik4m8005ad200o300btg00id0090.jpg)
这三个模型都可供开发人员在Hugging Face上下载、使用和微调,并获得了微软的MIT许可证,可以进行不受限制的商业应用和修改。
别看规模不大,但这三个模型在很多第三方基准测试中都性能表现都相当不错,甚至在某些情况下击败了其他领先大模型,包括谷歌的Gemini 1.5 Flash、Meta的Llama 3.1,甚至在一些竞技场上击败了OpenAI的GPT-4o。
![](http://dingyue.ws.126.net/2024/0821/ee77ee2ej00sik4m9003gd200kq00kjg00id00i6.jpg)
优秀的性能加上宽松的开放许可证,网友在社交网络上纷纷试用并点赞Phi 3.5新系列:
![](http://dingyue.ws.126.net/2024/0821/9ef5a419j00sik4m9004ld200ly00jxg00id00gn.jpg)
接下来,根据Hugging Face上的发行说明,简要介绍一下三款新型号模型的不同特点和用途。
Phi-3.5-mini-Instruct:小而美
![](http://dingyue.ws.126.net/2024/0821/67bad22aj00sik4ma001bd200t0004sg00id0030.jpg)
模型:https://huggingface.co/microsoft/Phi-3.5-mini-instruct
,Phi-3.5-mini-Instruct也是一种轻量级AI模型,基于Phi-3使用的数据集构建,拥有38亿个参数,支持128k token上下文长度。
Phi-3.5-mini使用512个H100-80G GPU,在10天内对3.4万亿个token进行了训练。
Phi-3.5-mini非常适合在内存或算力受限的设备上使用,虽然内存有限但推理能力不减,可以完成代码生成、数学问题的解决和逻辑推理等任务。
默认情况下,Phi-3.5-mini使用Flash Attention,这需要某些类型的GPU硬件才能运行。
通过在不同类型的GPU上进行测试,发现在NVIDIA V100或更早一代GPU上即可使用。
多语言
尽管尺寸紧凑,Phi-3.5-mini在多语言和多轮对话任务中表现出了优秀的性能。
Phi-3.5-mini支持阿拉伯语、中文、英语、芬兰语、法语、德语等23种语言。
下表重点介绍了Phi-3.5-mini在多语言MMLU、MEGA和多语言MMLU-pro数据集上的多语言功能。
![](http://dingyue.ws.126.net/2024/0821/a4a2a2f2j00sik4mb003bd200o300ksg00id00fu.jpg)
总体而言,即使只有3.8B参数,Phi-3.5-mini在多语言任务上与其他更大参数的模型相比,也具有竞争力。
![](http://dingyue.ws.126.net/2024/0821/c2d690d8j00sik4me002ud200of00grg00id00cl.jpg)
长上下文
Phi-3.5-mini支持128K上下文长度,因此该模型能够执行多种长上下文任务,包括长文档/会议摘要、长文档QA、长文档信息检索。
Phi-3.5-mini在衡量「长上下文代码理解」的RepoQA基准测试中超越了其他类似大小的模型,比如Llama-3.1-8B-instruct和Mistral-7B-instruct。
![](http://dingyue.ws.126.net/2024/0821/64caf53ej00sik4mf0015d200m3008gg00id0070.jpg)
Phi-3.5-MoE-instruct:首款MoE
![](http://dingyue.ws.126.net/2024/0821/f9891646p00sik4mf000wd200ti003lg00id0028.png)
模型:https://huggingface.co/microsoft/Phi-3.5-MoE-instruct
Phi-3.5-MoE-instruct是微软Phi模型中的首个MoE模型,将多种不同类型的模型组合成一个模型,汇总的模型内部每个类型模型专门从事不同的任务。
顾名思义,Phi-3.5-MoE采用的是混合专家架构,在23天内使用512个H100-80G GPU,对4.9万亿个token进行了训练。
420亿个参数的架构,支持128k token上下文长度,Phi-3.5-MoE专注于处理高质量,推理密集数据。
然而,根据HuggingFace文档,Phi-3 MoE有16x3.8B参数,只能使用6.6B参数运行。
Phi-3.5-MoE专为在各种推理任务而设计,尤其是在代码、数学和多语言理解方面具有强大的性能。
并且,MoE模型经历了严格的优化过程,结合了监督微调、近端策略优化(proximal policy optimization)和直接偏好优化(direct preference optimization),确保精确并且安全的指令遵守。
与Phi-3.5-mini一样,MoE版本也支持多种语言,并且在长上下文表现优秀,在特定基准测试中优于较大的模型,包括RepoQA:
![](http://dingyue.ws.126.net/2024/0821/a83089e9j00sik4mg001dd200og008yg00id006p.jpg)
专业学科
由于Phi-3.5-MoE模型的定位是处理不同种类的专业任务,那它在专业学科领域表现如何?
Phi-3.5-MoE在5个样本MMLU(大规模多任务语言理解)上击败了GPT-4o mini,涉及STEM、人文科学、社会科学等不同专业水平的学科。
![](http://dingyue.ws.126.net/2024/0821/55b66baaj00sik4mj00emd200u002akg00id01ei.jpg)
因此,MoE模型独特的组合架构使其能够跨多种语言的情况下,也能处理不同类型复杂的任务,并且保持高质高效。
Phi-3.5-vision-instruct:视觉多模态
![](http://dingyue.ws.126.net/2024/0821/5e6041edp00sik4mk0019d200u0002zg00id001t.png)
模型:https://huggingface.co/microsoft/Phi-3.5-vision-instruct
前两个模型都用于文本推理,而Phi-3.5-vision-instruct作为多模态模型,集成了文本和图像处理功能。
Phi-3.5-vision在6天内使用256个A100-80G GPU,对5000亿个token进行了训练。
多模态模型特别适合一般的图像理解、光学字符识别、图表和表格理解以及视频摘要等任务。
与Phi-3.5系列中的其他模型一样,Phi-3.5-vision支持128k token上下文长度,能够处理复杂的多帧视觉任务。
微软强调,模型是结合合成和过滤的公开可用数据集进行训练的,重点关注高质量、推理密集的数据。
视觉任务
Phi-3.5-vision主要用于多帧图像理解和推理,包括详细的图像比较、多图像摘要和视频摘要,这些能力在办公场景中有广泛的应用。
经过测试,大多数图像基准测试性能都得到提升,例如,MMMU性能从40.2提升到43.0,MMBench性能从80.5提升到81.9,文档理解基准TextVQA从70.9提升到72.0。
以下是现有多图像基准的比较结果,平均而言,Phi-3.5-vision在相同尺寸上优于竞争对手模型,并且在多帧功能和视频摘要方面能更大的模型一决高下。
BLINK包含14项视觉任务的基准测试,人类可以很快解决这些任务,但对于LLM来说仍然很难。
不仅在每一项小分上得分更高,例如艺术风格识别和法医学鉴定都获得了87.2和92.4的高分;从总分来看,Phi-3.5-vision高于Gemini-1.5-Flash、GPT-4o-mini和Claude-3.5-Sonnet。
![](http://dingyue.ws.126.net/2024/0821/0a700aa7j00sik4mm0090d200u0012ug00id00nr.jpg)
Video-MME用于全面评估LLM处理视频数据的能力,涵盖广泛的视觉领域任务,并且包括不同时长的视频处理任务。
可以看出,视频处理能力方面,Phi-3.5-vision与领先的几个模型相比,仍有比较大的进步空间,但得分也都基本超过了InternVL模型。
![](http://dingyue.ws.126.net/2024/0821/0e1507baj00sik4mm0021d200pj00d3g00id009e.jpg)
参考资料:
https://x.com/WeizhuChen/status/1825978852205801970
https://venturebeat.com/ai/microsoft-releases-powerful-new-phi-3-5-models-beating-google-openai-and-more/
![](http://dingyue.ws.126.net/2024/0821/959e932aj00sik4mn005jd200u000mfg00id00dp.jpg)
![](http://dingyue.ws.126.net/2024/0821/d1c7587cj00sik4ms023jd200u002nlg00id01mi.jpg)
热门跟贴