你以为同款GPU性能都差不多？事实并非如此。来自威廉与玛丽学院、杰斐逊实验室和Silicon Data的研究表明，相同型号的芯片在实际性能上存在令人意外的差异。这意味着从云服务商租用GPU时，能否物有所值，很大程度上取决于运气。
"这就是所谓的'硅彩票'效应，"Silicon Data创始人兼CEO Carmen Li说道。Silicon Data专注于追踪GPU租赁价格并对云计算性能进行基准测试。
硅彩票效应早在2022年就已被发现，当时威斯康星大学的研究人员将其与依赖GPU的超级计算机性能波动联系起来。Li和她的同事认为，这一效应对AI云计算用户的影响会更为显著。
云端GPU性能因型号而异
为此，研究团队在11家云计算服务商随机抽取的3500块GPU上，运行了6800次基准测试。这3500块GPU涵盖11种英伟达GPU型号，其中最先进的是英伟达H200 SXM。（研究团队并非专门针对英伟达，只是因为英伟达在GPU租赁云市场占据主导地位。）
该基准测试名为SiliconMark，旨在评估GPU运行大语言模型的能力，测试指标包括以每秒万亿次运算为单位的16位浮点计算性能，以及以GB/s为单位的GPU内存带宽。
测试结果显示，所有型号的GPU计算性能均存在差异。其中，259块H100 PCIe GPU的性能差异最高达34.5%，253块H200 SXM GPU的内存带宽差异最高达38%。
GPU的散热方式、云服务商的服务器配置方式，以及芯片的使用时长，都可能导致同款芯片出现性能差异。但Silicon Data的分析表明，真正的根源在于芯片本身的制造差异。
这种随机性带来了实实在在的经济影响。研究人员指出，价格更高、型号更新的GPU，其实际性能未必优于旧款芯片。
那么，GPU租用者该怎么办？"最实际的做法是对实际租到的GPU进行基准测试，"Silicon Data基础设施负责人Jason Cornick表示，"使用SiliconMark等基准测试工具，可以将具体实例的性能与更大范围的数据进行横向比较。"
Q&A
Q1：什么是"硅彩票"效应？它对GPU租用有什么影响？
A：硅彩票效应是指同款GPU芯片之间存在性能差异的现象，根源在于芯片制造过程中的细微差异。对于GPU租用者来说，这意味着即使租用相同型号的GPU，实际获得的性能也可能相差悬殊。研究显示，H100 PCIe GPU的性能差异最高达34.5%，H200 SXM的内存带宽差异最高达38%，这直接影响到租用者能否物有所值。
Q2：SiliconMark基准测试具体测什么？
A：SiliconMark是由Silicon Data开发的基准测试工具，专门用于评估GPU运行大语言模型的能力。它主要测试两项指标：一是16位浮点计算性能，以每秒万亿次运算为单位衡量；二是GPU内存带宽，以GB/s为单位衡量。通过这两项指标，用户可以了解所租GPU的实际性能，并与同型号GPU的整体数据进行比较。
Q3：租用GPU时如何避免因硅彩票效应而吃亏？
A：Silicon Data基础设施负责人Jason Cornick建议，最实际的做法是在拿到租用的GPU后，立即使用SiliconMark等基准测试工具进行性能测试。通过将测试结果与大量同型号GPU的数据进行对比，可以判断所租GPU的性能是否达标，从而决定是否需要更换实例，避免为性能不达标的芯片支付高价。
热门跟贴