在当今数字化时代,人工智能(AI)正以其前所未有的速度重塑着我们的世界。从医疗、教育到金融、制造业,AI 的应用正不断拓展,成为推动创新和增长的关键力量。随着 AI 技术的不断进步,尤其是大模型的发展,对数据存储和管理的需求也日益增长。这些大模型需要处理和存储海量数据,对存储系统的性能、可扩展性和成本效益提出了新的挑战。

XSKY 星辰天合受邀将于 10 月 23 日(下周三)晚 7 点参加 JuiceFS Meetup,与您共同探讨 AI 时代下的存储解决方案。

话题一:XEOS & JuiceFS

面向私有云和混合云的大模型存储方案

对象存储作为一种高度可扩展、成本效益高的存储解决方案,已成为构建 AI 数据湖的理想选择。它以高度可扩展性和成本效益著称,能够高效处理 AI 训练所需的大量非结构化数据,如图片和视频,同时提供数据共享、持久化和高可靠性。此外,对象存储的云原生特性使其成为多云和混合云环境中的理想选择,为 AI 项目的数据管理和分析提供了灵活性和便捷性。

近日,JuiceFS 与 XSKY XEOS 对象存储完成了互相兼容的认证,为企业带来一个性能更高、成本更低、更加灵活的大模型私有化部署方案。

分享大纲

  • AI 存储的挑战 & 联合解决方案

  • 对象存储选型 & XEOS 优势特性

    • XEOS 对比 MinIO、Ceph

    • 单桶千亿

    • 强大的生命周期能力

    • 大规模运营经验

    • 小文件加速

  • 案例

    • 头部大模型

    • 智算中心

关于讲师

邹博引

XSKY 对象存储产品总监

话题二:JuiceFS Roadmap

JuiceFS 社区版和企业版每年都会发布一次大的版本更新。随着 AI 行业的快速发展,许多前沿技术场景对存储系统提出了更高的要求。最近走访了社区版和企业版的多位用户,基于用户们的反馈,制定了初步的研发计划。

分享大纲

  • JuiceFS 社区版 v1.3 Roadmap

    • 支持 Ranger

    • 新增 SDK 支持:Python && Go

    • 插件化架构,动态加载对象存储支持组件(Ceph 和 Gluster)

    • 高效的备份格式

  • 企业版 v5.2 Roadmap

    • 分布式缓存性能优化

    • 热点分区自动均衡

    • 高性能 FUSE 优化

    • 系统流控优化

关于讲师

黄杰烽

JuiceFS 系统工程师,多年分布式存储研发经验

话题三:好未来:多云环境下

基于 JuiceFS 建设低运维的模型仓库

好未来,前身学而思,于 2010 年在美国纽约证券交易所上市。公司积极将大模型研究应用于教学产品中,近期推出了数学领域的千亿级大模型。

好未来的基础平台需要管理模型的生产、测试以及应用的整个过程,数据需要在多个团队之间流转。于此同时,平台在多云和私有云环境中运行训推集群,这些环境采用不同数据资产管理方式,包括 NFS、Ceph、PFS 和 OSS 。由此带来了复杂的数据管理工作,需多名开发者和运维人员反复核对,增加了数据丢失或泄露的风险。随着 AI 业务的发展,模型的体积和数量不断膨胀,现有的管理模式将对生产和运维构成严峻挑战。

为解决这些问题,团队基于 JuiceFS 开发了一个模型仓库,支持用户从各个云环境上传并统一管理模型。一个上百 GB 的大模型仅需 10 分钟即可上传,且显著降低了运维投入。通过 JuiceFS CSI 组件,好未来将模型仓库挂载到各个集群中,数据的挂载配置只需 1 分钟,使得部署 AI 应用变得更加容易。此外,通过实施权限控制、克隆备份等策略,有效减少了用户误操作的损失并提高了数据安全性。目前好未来在多云多地部署了两套元数据和数据仓库;对象存储的使用量达 6TB,存储超过 100 个模型。

分享大纲

  • 大模型背景下模型仓库的挑战是什么?

    • 区别于镜像仓库,为什么需要模型仓库?

    • 训推场景下对模型仓库的要求有哪些?

    • 如何分发百 GB 的模型到不同云?

  • 混合云架构下,如何在成本、性能、稳定性之间做好取舍?

    • 模型仓库存储系统的选型与思考

    • CephFS vs GPFS vs OSS vs JuiceFS

  • 好未来模型仓库的技术实践方案

    • 训推过程中模型仓库读写设计

    • 模型仓库上传与下载的设计

  • 未来准备拓展的应用场景:

    • 多云之间按需同步

    • 分布式 cache 进一步加

关于讲师

贺龙华

好未来云原生负责人,多年云原生基础平台研发、大规模应用PaaS系统经验,曾就职于百度基础架构部。

立即预约

议程

19:00-20:15

Talk1 - JuiceFS Roadmap

黄杰烽,Juicedata 系统工程师

Talk2 - 好未来:多云环境下基于 JuiceFS 建设低运维的模型仓库

贺龙华,好未来云原生负责人

Talk3 - XEOS & JuiceFS:面向私有云和混合云的大模型存储方案

邹博引,XSKY 对象存储产品总监

更多活动资讯,

关注XSKY星辰天合服务号

打开网易新闻 查看精彩图片