在当今数字化时代,人工智能(AI)正以其前所未有的速度重塑着我们的世界。从医疗、教育到金融、制造业,AI 的应用正不断拓展,成为推动创新和增长的关键力量。随着 AI 技术的不断进步,尤其是大模型的发展,对数据存储和管理的需求也日益增长。这些大模型需要处理和存储海量数据,对存储系统的性能、可扩展性和成本效益提出了新的挑战。
XSKY 星辰天合受邀将于 10 月 23 日(下周三)晚 7 点参加 JuiceFS Meetup,与您共同探讨 AI 时代下的存储解决方案。
话题一:XEOS & JuiceFS
面向私有云和混合云的大模型存储方案
对象存储作为一种高度可扩展、成本效益高的存储解决方案,已成为构建 AI 数据湖的理想选择。它以高度可扩展性和成本效益著称,能够高效处理 AI 训练所需的大量非结构化数据,如图片和视频,同时提供数据共享、持久化和高可靠性。此外,对象存储的云原生特性使其成为多云和混合云环境中的理想选择,为 AI 项目的数据管理和分析提供了灵活性和便捷性。
近日,JuiceFS 与 XSKY XEOS 对象存储完成了互相兼容的认证,为企业带来一个性能更高、成本更低、更加灵活的大模型私有化部署方案。
分享大纲
AI 存储的挑战 & 联合解决方案
对象存储选型 & XEOS 优势特性
XEOS 对比 MinIO、Ceph
单桶千亿
强大的生命周期能力
大规模运营经验
小文件加速
案例
头部大模型
智算中心
关于讲师
邹博引
XSKY 对象存储产品总监
话题二:JuiceFS Roadmap
JuiceFS 社区版和企业版每年都会发布一次大的版本更新。随着 AI 行业的快速发展,许多前沿技术场景对存储系统提出了更高的要求。最近走访了社区版和企业版的多位用户,基于用户们的反馈,制定了初步的研发计划。
分享大纲
JuiceFS 社区版 v1.3 Roadmap
支持 Ranger
新增 SDK 支持:Python && Go
插件化架构,动态加载对象存储支持组件(Ceph 和 Gluster)
高效的备份格式
企业版 v5.2 Roadmap
分布式缓存性能优化
热点分区自动均衡
高性能 FUSE 优化
系统流控优化
关于讲师
黄杰烽
JuiceFS 系统工程师,多年分布式存储研发经验
话题三:好未来:多云环境下
基于 JuiceFS 建设低运维的模型仓库
好未来,前身学而思,于 2010 年在美国纽约证券交易所上市。公司积极将大模型研究应用于教学产品中,近期推出了数学领域的千亿级大模型。
好未来的基础平台需要管理模型的生产、测试以及应用的整个过程,数据需要在多个团队之间流转。于此同时,平台在多云和私有云环境中运行训推集群,这些环境采用不同数据资产管理方式,包括 NFS、Ceph、PFS 和 OSS 。由此带来了复杂的数据管理工作,需多名开发者和运维人员反复核对,增加了数据丢失或泄露的风险。随着 AI 业务的发展,模型的体积和数量不断膨胀,现有的管理模式将对生产和运维构成严峻挑战。
为解决这些问题,团队基于 JuiceFS 开发了一个模型仓库,支持用户从各个云环境上传并统一管理模型。一个上百 GB 的大模型仅需 10 分钟即可上传,且显著降低了运维投入。通过 JuiceFS CSI 组件,好未来将模型仓库挂载到各个集群中,数据的挂载配置只需 1 分钟,使得部署 AI 应用变得更加容易。此外,通过实施权限控制、克隆备份等策略,有效减少了用户误操作的损失并提高了数据安全性。目前好未来在多云多地部署了两套元数据和数据仓库;对象存储的使用量达 6TB,存储超过 100 个模型。
分享大纲
大模型背景下模型仓库的挑战是什么?
区别于镜像仓库,为什么需要模型仓库?
训推场景下对模型仓库的要求有哪些?
如何分发百 GB 的模型到不同云?
混合云架构下,如何在成本、性能、稳定性之间做好取舍?
模型仓库存储系统的选型与思考
CephFS vs GPFS vs OSS vs JuiceFS
好未来模型仓库的技术实践方案
训推过程中模型仓库读写设计
模型仓库上传与下载的设计
未来准备拓展的应用场景:
多云之间按需同步
分布式 cache 进一步加
关于讲师
贺龙华
好未来云原生负责人,多年云原生基础平台研发、大规模应用PaaS系统经验,曾就职于百度基础架构部。
立即预约
议程
19:00-20:15
Talk1 - JuiceFS Roadmap
黄杰烽,Juicedata 系统工程师
Talk2 - 好未来:多云环境下基于 JuiceFS 建设低运维的模型仓库
贺龙华,好未来云原生负责人
Talk3 - XEOS & JuiceFS:面向私有云和混合云的大模型存储方案
邹博引,XSKY 对象存储产品总监
更多活动资讯,
关注XSKY星辰天合服务号
热门跟贴