就在昨天,Mac mini 以及mac studio 都更新了最新配置,这个配置可以说是最近1年或者2年内最值得投资的资产。
甚至是说可以是比曾经的房地产以及美国股票更值得投资的(个人预判,仅供参考),主要原因是现在LLM所需要的算力还不够,因为只要是基于transformer架构的相关大模型,算力就不够了,还不说世界模型以及神经大模型。
而现在之所以是算力远远不够,因为只是大语言模型就仍然普及度仍然不够高,现在如果你去高校、或者科研院所几乎都会面临一个问题,就是一个课题组共用几张卡甚至是1张4090卡。
不仅是卡贵的原因,还有就是一个课题组以及研发团队不可能只下载一个模型,往往会几个模型下载。
而单卡48GB的显存甚至是128GB显存,要想下载几个模型,就根本不可能,只能卸载了重新安装,这对于团队来说费时费力。
512GB是市面上最大的单机显存机器
而苹果的512GB内存之后,通过统一架构就可以将其科研所需要的显存需求使用到极致,同时在以前版本下显存带宽是一个瓶颈,即使可以部署非常大的模型,但是tokens速度也起不来,而现在M5 ultra就解决了这个问题。
因为M芯片以及神经处理器,天然的支持集群,可以更好的完成训练、推理。
互联宽带4.4TB/s ,统一内存带宽升级到了1.2TB/s,,这样通过集群的方式就可以达到更大的速度,即使受限于thunderbolt 的链接速度,但是至少一些小的模型就可以本地训练出来了。
苹果也在运行支持CUDA生态,transformer万物皆可以
如今,CUDA 与 MLX 虽然仍属于英伟达和苹果各自独立的计算生态,但借助 PyTorch、Hugging Face 等中间层,同一模型已能在两类平台间迁移运行。相比专注训练的 CUDA 服务器,Mac Studio 兼具办公、开发和本地 AI 计算能力。
对多数应用公司而言,也无需从头训练大模型,只需通过 LoRA/QLoRA 冻结大部分权重并进行局部微调。多台 M5 Ultra Mac Studio 组成集群后,可以支持 70B 级模型的分布式推理与微调,并容纳更大的批量和更长的上下文,但仍不能替代专业 GPU 集群进行大规模全参数预训练。
最后保值不仅是苹果还有世界模型其他transformer的衍生模型
要知道当年Mac studio ultra M3出售价格是10万多,加上教育优惠就8万多,而现在可以卖到接近20万,8T版本。
因为内存涨价以及产能问题,M3 ultra 苹果512GB已经下架了,现在只能买到256GB,但是即使这样因为可以做集群,在某二手平台上256GB的价格也仍然翻倍了,丐版1TB的。
要知道这个机器就相当于是办公、游戏以及AI算力集群,用处场景就更多了。
不过现在来看10月份512GB的Mac studio M5 ultra机器才会出现,虽然现在还没有开放预定阶段,可以赶快自己囤现金,以及想办法囤积教育优惠以及购买资格。
从目前的趋势来看,LLM 正在逐步向世界模型演进,而 MR 设备的普及将为真正的世界模型提供关键数据入口。
从现在来看MR设备的销售量已经可以达到接近上千万
世界模型不只是将图像和视频转换为文字或视觉 Token 进行语义匹配,而是要理解连续的三维空间、物体关系与动作变化,并预测下一帧甚至未来一段时间的 3D 世界状态。
现有 VLM 在处理长视频时,容易受到上下文长度和空间状态表征能力的限制,逐渐丢失早期信息,最终出现物体位置漂移、空间结构变化以及前后动作冲突等“幻觉”。MR 则可以持续提供位姿、深度、Mesh、眼动和手势轨迹,使模型真正建立具有时间连续性的空间记忆。
因为都是基于transformer架构,导致显存会越来越需求,毕竟LLM的就需求量就导致现在内存涨价,要是世界模型则就更大了、还不加上neural AI大模型。
毕竟图像、视频的数据远大于文字,空间视频更大了,还有FMRI、MEG数据
所以我预计M5 ultra 512GB会价格翻倍。
今天的分享就在这里
找我交流与合作 空间计算与脑机接口系统开发
题图来自 Unsplash ,基于 CC0 协议, 如有侵权,请联系pmtalk123删除
“分享产品经理改变世界的点滴”
产品顾问| 产品咨询|培训合作
请添加微信PMxiaowanzi
最近我的原创
每日案例拆解库,AI等产品打卡群
我创建的产品设计打卡社群,加入后365天,每天体验一款APP。提升产品设计能力,同时有1300份体验报告帮助你找到竞品
在这里你可以随时查询到你想找的各类竞品行业APP,无须自己亲自下载就可以马上得到APP的一手产品优化、交互设计、功能描述信息。
从优化&建议、商业模式、运营、功能描述、交互设计、产品定位至少6个维度,体验一款应用。
平均1天1块钱,扫码购买即可加入
连续体验48款应用,通过后原路退回
报名后添加星球助理
PMTalk123
热门跟贴