来源:市场资讯
(来源:你好张江)
近日,由Alluxio、张江孵化器、火山石投资联合主办的自动驾驶数据底座进化:跨云、算力利旧与极致加速实战技术沙龙在纳贤800会议厅顺利举行。
当下智驾迈入L4/L5深水区,海量传感器数据驱动算法迭代,却也让基础设施陷入供数困境:GPU昂贵却长期因IO等待空转,数据从TB级跃升至百PB/EB级,存算分离、多云异构、跨地域协同成为行业共性难题。本次活动汇聚千里智驾、造父智能(哈啰Robotaxi)、九识智能、Alluxio等多位技术专家,聚焦高性能、可扩展数据底座构建,分享用Alluxio破解算力瓶颈、打通自动驾驶数据闭环的一线实战。
开场致辞:
AI原生时代,数据底座重构势在必行
01
火山石投资董事总经理叶舟波带来开场致辞。他从资本与战略视角,解读AI原生时代基础设施的重构逻辑,并回顾与Alluxio的五年深度合作。
叶舟波将Alluxio比作AI工业化流水线的数字润滑剂,其通过跨云、跨存储源的统一视图,实现数据随算力而动,最大化算力卡利用率。他强调,Alluxio不只是缓存系统,更是重塑AI底层设施范式的关键,为多云环境下AI训练与仿真提供高效能底座支撑。
千里智驾:从GPFS困境到Alluxio智能缓存架构跃迁
02
千里智驾工具链开发部平台Infra负责人戎衣模,分享了超大规模自动驾驶训练的存储架构演进。他提到,面对500PB级训练数据与万卡规模算力的双重挑战,传统GPFS暴露出单集群容量触顶、扩容繁琐周期长、PB级数据环境清理缓慢、跨地域数据搬迁耗时久且受专线带宽限制等三大致命问题,而引入Alluxio作为弹性数据抽象层后,千里智驾成功实现算力随增、IO随扩,不仅能在一天内将集群从30台平滑扩容至400余台,还通过数据预热与边训练边加载的方式消除了跨地域数据搬迁的等待时间,将自动化缓存清理的空间周转时间从天级压缩至分钟级,更盘活了宁波、上海、甘肃多地算力实现核心数据协同处理。戎衣模表示,这不仅是存储扩容的破局,更是研发范式的变革,为超大规模研发协同筑牢了根基。
造父智能:阿里云上透明训练加速层,GPU利用率大幅跃升
03
造父智能(哈啰Robotaxi)AI Infra超算平台架构师管宪良,聚焦多云异构与Serverless环境的数据编排优化分享实践。他介绍,此前团队面临数据孤岛与GPU利用率低迷(仅30%-40%)的困境,A100/H100因IO等待造成大量资源浪费,而基于Alluxio打造透明训练加速层后,团队通过K8s集群用CSI驱动、Serverless场景用Sidecar注入客户端的方式实现全场景自动挂载,借助Subpath映射实现多算法团队数据视图隔离透明,有效解决了权限与IO干扰问题,成功消除IO饥饿,将GPU利用率拉满,显著降低了单次训练的算力成本。管宪良总结,Alluxio已成为多云策略的标准数据底座,为Robotaxi大规模商业化扫清了数据障碍。
九识智能:百万仿真并发,IO吞吐量从30GB/s飙升至100GB/s
04
九识智能平台部仿真平台负责人史正,分享了Alluxio在云端仿真调度的落地实践。他表示,自动驾驶仿真需要快速处理海量路测数据,早期直接挂载对象存储导致带宽过载、GPU断粮,自研ZCache又面临多租户管理、空间淘汰不稳定等问题,而切换至Alluxio去中心化架构后,团队复用K8s节点闲置NVMe部署Worker,使IO吞吐量从30GB/s突破至100GB/s以上,实现性能线性扩展,同时通过POSIX接口零改造兼容算法流程,借助冷热分离保障缓存高价值样本,有效降低了重复读取的带宽成本,支撑百万级并发仿真稳定运行。这套方案彻底破解了仿真IO瓶颈,为数据闭环持续迭代提供了有力支撑。
Alluxio:预训练到仿真,全链路数据流转加速方案
05
Alluxio首席架构师傅正佳,详解了分布式数据编排平台在智驾全链路的核心价值。他介绍,Alluxio作为计算与存储间的智能中枢,聚焦解决IO效率难题,能够通过标准POSIX/S3接口实现透明接入,让用户像操作本地盘一样访问跨云PB级数据,借助异步写缓存(Write-back)实现Checkpoint写加速,使性能提升数倍,通过与RDMA深度集成,将延迟从毫秒级降至50-100微秒,逼近物理网卡极限,同时支持闲置磁盘混合部署、独立高性能集群扩展,适配超大规模AI任务。傅正佳表示,Alluxio从数据采集、预处理、训练到仿真,全程打通数据流动,助力智驾全链路效率最大化。
本次Alluxio Tech Day汇聚智驾行业顶尖技术力量,从投资趋势、企业实战到平台技术,全方位拆解自动驾驶数据底座进化路径。面对数据爆炸与算力昂贵的双重挑战,Alluxio以统一数据编排、智能缓存、跨云协同能力,成为破解IO瓶颈、提升GPU利用率、降本增效的关键方案,为智驾产业工程化落地注入强劲动力。
关于Alluxio
全球领先的高性能数据平台提供商,聚焦AI与大数据场景,位于计算与存储框架之间,提供跨存储统一视图与高性能数据访问,简化数据工程、提升GPU利用率、降低云与存储成本,全球前10互联网公司9家在使用。
关于Vπ张江孵化器
立足张江科学城核心区,以连锁化模式运营专业孵化载体,深耕数字信息产业赛道。以培育“未来”、服务“早小”、助力“青创”为使命,以“孵投一体”为特色,以十余年科创服务经验为保障,深度联动张江科学城产业生态资源,为早期科技型企业提供全周期、全链条专业孵化服务,构建投资引领的创新创业生态圈,全力支撑张江全球科创中心建设。
关于火山石投资
覆盖人民币、美元基金的顶尖风险投资机构,2016年成立,管理规模超30亿人民币,深耕硬科技与医疗健康,投资100+高成长企业,荣获多项行业权威奖项,持续赋能解决行业技术断层的领军企业。
热门跟贴