Uber把自家基于Go语言的翻译缓存重新做了一遍,初始内存占用减少超过90%,同时把缓存未命中的p99延迟压在1毫秒以下。这套系统每秒要处理数百万次翻译请求,缓存命中率维持在99.9%以上。
这次优化针对的是内存剖析中暴露的两个问题。垃圾回收(GC)在部分Go服务里吃掉了超过20%的CPU利用率,而翻译相关的对象占了已分配对象的约70%。Uber工程团队的说法是,在Uber这样的规模下,内存管理里再小的低效也会累积成大数目。
第一步改动是把Go的sync.Map换成普通的map[string]string,外面套一把RWMutex。原因在于这类工作负载以读为主,更新不频繁,也没有单条删除。旧实现为每个翻译条目创建多个对象和指针,抬高了GC开销;换成值语义的map后,对象分配减少,受影响服务的CPU利用率提升超过30%。
但减少对象分配并没有解决整体内存消耗。翻译数据集可能包含两到三百万个键,而单个服务通常只访问其中一小部分。缓存刷新又带来另一个麻烦:服务先在后台构建一份替换缓存,再与现有缓存做原子交换,两份副本同时占内存,导致部分服务在刷新期间内存耗尽。
外部缓存和按服务生成翻译子集都被考虑过,但都会增加运维或维护成本。团队最终采用混合存储设计,保留原有的Get()和Put()接口:所有键留在内存里保证快速查找,翻译值则存到磁盘支撑的文件中。
具体实现用了256个分片,每个分片有自己的读写锁、内存条目和磁盘文件。六字节的哈希键降低元数据开销,遇到哈希冲突时回退到原始键格式。内存条目由一套基于时间的全局LRU策略管理。缓存刷新时,系统依据访问历史预加载前15分钟内被访问过的翻译,避免交换后出现冷缓存。
效果可以用一组数字看:一个原本在内存中占用约800 MB的翻译数据集,重新设计后元数据只需约40 MB。在内存条目上限配置为5万条的情况下,实际内存消耗通常在80 MB到120 MB之间。另一份工作负载中,超过400万条目里只有约3万条被加载进内存,缓存命中率仍在99.9%以上,磁盘缓存未命中的p99延迟保持在100微秒以下。
Uber给出的经验是:尽量减少对象引用以降低GC开销,并测量缓存值被访问的频率。当只有一小部分缓存数据被真正使用时,混合方案可以把高频值留在内存,其余下沉到磁盘。
热门跟贴