智东西7月30日报道，当地时间7月29日，苹果发布iOS 18.1开发者测试版，上线Apple Intelligence的首个版本，同时47页的苹果自研大模型技术报告重磅发布。
Apple Intelligence首个版本上线了以下AI功能：
1、Siri升级。Siri唤醒后具备屏幕边缘发光特效，能理解用户表述不通顺的指令，且能回答关于苹果产品故障解决的相关问题。
2、写作工具升级。新版iOS提供苹果的文本生成服务；同时支持AI生成邮件、信息，语音转录摘要等功能。
3、视图工具升级。该版本提供更智能的图片搜索及电影回忆制作功能。
仍有不少苹果在6月发布的AI功能未出现在iOS 18.1开发者测试版（《苹果AI一夜颠覆所有！Siri史诗级进化，内挂ChatGPT-4o，奥特曼来了，马斯克怒了》），苹果称计划在明年推出，包括：
1、Siri的其他改进，包括个人信息分析，联动外部应用执行任务等。
2、图像视觉生成功能，包括表情符号的生成，以及自动清理照片等视图相关能力等。
3、OpenAI旗下ChatGPT的集成等。
iPadOS 18.1、macOS Sequoia 15.1也植入了相关Apple Intelligence新功能，不过它们目前都仅向每年支付99美元的注册苹果开发者开放。
在今天发布的论文中，苹果透露了其两款苹果基础模型（Apple Foundation Model，简称“AFM”）。
论文链接：https://machinelearning.apple.com/papers/apple_intelligence_foundation_language_models.pdf
一个是30亿参数的端侧模型AFM-on-device，经优化可在iPhone和其他设备上高效运行；另一个是云端模型AFM-server，尚未公布模型参数。
报告首次对AFM的模型架构、训练数据、训练过程、推理优化及评估结果进行了解读，并提到背后模型的训练采用的是累计10240颗谷歌TPU，而未提及英伟达GPU。
根据论文描述，苹果自研大模型在指令遵循、文本总结方面测试超GPT-4。
一、苹果AI上机首秀：Siri“变身换脑”，写作一键润色
本次，苹果iOS 18.1开发者测试版上线的Apple Intelligence功能，主要覆盖Siri、写作工具、邮件提要、照片自然语言搜索等方面。
1、整个屏幕闪起光环，Siri变身
Siri的变化首先是新外观，此前屏幕上出现的圆形光斑，被环绕屏幕的发光灯取代，以表示助手处于活动状态。
当开发者不想大声对Siri说话时，开发者可以从语音命令切换到键入：双击iPhone或iPad屏幕底部即可调出键盘，用于输入Siri查询和命令。
Siri已经能够理解多个指令上下文。例如，开发者可以要求Siri创建日程，然后要求创建提醒，而无需重复前面说的话。
2、写作工具上线，润色语句、邮件提要
写作工具是Apple Intelligence的一大卖点，支持开发者就语气和措辞提出建议，校对文本并总结要点。
录音转录功能也已经可以体验，在iOS 18.1开发者测试版，语音备忘录应用程序以及Notes应用已经内置了录音转录功能。
写作功能既适用于苹果设备的内置应用程序，也可用于使用标准输入文本系统的第三方应用程序。
邮件应用现在会智能识别优先邮件，并将在收件箱顶部出现提醒浮窗，以提醒开发者特定的截止日期，或避免忘记一些重要行动事项。
此外，新版本还支持专注模式，称为“减少干扰（Reduce Interruptions）”，该模式将使用AI识别过滤重要的通知。
3、自然语言交互搜索照片，AI生成短片
开发者已经能够使用自然语言查找视频和照片。比如查询“我女儿吃芝士汉堡的照片”，苹果将提供对应的搜索结果。它应该可以更轻松地在视频中找到特定图像或确切时刻，而无需使用更通用的关键字。
新的电影回忆（Movie memories）功能可让开发者输入特定提示，使用照片应用中存储的照片和视频制作电影。
开发者可以输入自己的提示或使用Apple Intelligence建议的提示词，获得智能生成的电影，影片具有明确的章节和主题。
Apple Intelligence这些已上线的功能仍有一些使用限制。
目前，Apple Intelligence仅向每年支付99美元的注册苹果开发者开放，包括面向iOS、iPad和Mac的三个版本。开发者需要将设备区域设置为美国，语言设置为美国英语。
此外，此前6月报道曾提到，Apple Intelligence要求设备达到iPhone 15 Pro、iPhone 15 Pro Max或配备M1的iPad和Mac及以上配置。
二、47页论文解读苹果大模型，文本总结等测试超GPT-4
相比于当下各家的AI手机，苹果自研模型的一大特点，是推出在设备上运行的端侧模型。
根据苹果今日最新发布的论文，该端侧模型名为AFM-on-device，包含约30亿参数，远小于OpenAI和Meta等公司模型的千亿参数级别。
为了执行更复杂的任务，苹果也开发了云端模型AFM-server。虽然具体大小尚未透露，但它旨在使用名为“私有云计算（Private Cloud Compute）”的系统在苹果的云基础设施中运行，以保护用户数据。
如下图所示，AFM-on-device在人类测试中超越了Phi-3-mini、Mistral-7B、Gemma-2B等开源模型，接近Llama-3-8B的水平。
AFM-server在人类测试中超越Llama-3-70B、Mixtral-8x22B、GPT-3.5等闭源模型，接近GPT-4的能力。
同时，在指令遵循方面，AFM-server测试超GPT-4，AFM-on-device则超越了Llama-3-8B、Phi-3-mini等开源模型。
在架构方面，这两个基础模型包括一个基于AFM语言模型的编码模型，用于将智能融入Xcode，以及一个扩散模型，以帮助用户生成一些视觉内容。
其中，AFM基础模型是仅解码器的密集模型，它们建立在Transformer架构之上，并做了一些设计优化，包括分组查询注意力（GQA）、SwiGLU激活函数等。
研究人员在论文中解释道，Apple Intelligence由多个高性能生成模型组成，这些模型快速、高效、专门用于用户的日常任务，并且可以根据用户操作进行动态调整。
▲Apple Intelligence的架构
苹果展示了其模型开发的流程，强调从数据收集到模型部署的每个阶段，其都遵循负责任的AI原则。
在模型训练方面，苹果云端大模型采用了8192颗TPUv4芯片，端侧采用了2048颗TPUv5p芯片，并未用到英伟达GPU。
模型训练后工作包括一系列数据收集和生成、指令调优和对齐创新，涉及监督微调（SFT）和基于人类反馈的强化学习（RLHF）两个阶段，提高模型遵循指令、推理和写作方面的能力。
据称，这些模型是在多样化的数据集上进行训练的，包括网页、来自出版商的授权内容、代码存储库以及专门的数学和科学数据。苹果称其未使用私人数据训练模型。
结语：苹果AI首登iPhone，秀自研模型“肌肉”
时隔一个月，苹果终于上线了首批Apple Intelligence能力，在Siri、写作工具、视图检索等方面首先更新；与此同时，苹果两款自研模型曝出，让我们对Apple Intelligence的核心模型有了深入了解，并不是有媒体传的“ChatGPT套壳”，展现出有别于其他手机玩家的差异化打法。
不过，当下Apple Intelligence能力仅部分开发者可以用到。据外媒报道，苹果仍在修复许多新功能的漏洞，因此用户将不得不等待才能测试这些功能。苹果将会带来什么样的AI手机体验？我们拭目以待。
来源：苹果、X平台、CNBC、TechCrunch
热门跟贴