大模型时代的数据底座怎么建 | ToB产业观察|amazon|tob产业|向量|大模型|底座|调用|预训练

图片来源@pixabay

大模型的生产需要数据底座的支撑，因为只有高质量、高密度的数据去训练模型，才有可能得到更精准的生成效果。就当前而言，训练一个500T参数的模型，使用的训练数据已经达到16.6PB，如果一本书按500KB算，相当于332亿本的数据量。这是什么概念？好比说现存每个人类拥有4本书的量级。

但问题是，使用大量互联网上公开数据集，仅在数据清洗环节就提出极大挑战，被精炼的高质量数据正如石油一样，非常珍贵。钛媒体APP注意到，目前不少模型提供方，已经在特定领域使用合成数据用于模型训练，其原理是希望能够基于大模型自动生成高质量数据集。而这只是一方面。

目前数据量的暴涨，还要求使用各种技术手段实现数据的预训练和微调，数据智能应用场景下，对大数据平台的管理水平和安全能力要求提升，这对于基于云服务应用的企业而言，挑战的复杂性会更为明显。

在媒体沟通会上，亚马逊云科技探讨了数据在生成式AI时代的重要性及挑战，从三个层面分析企业想要构建数据底座，可参考的解决方案和路径。钛媒体摘录了一些关键要点，如下：

企业构建数据底座过程中，往往会通过三类方式进行基础模型的数据定制，以适应不同应用场景，分别是：检索增强生成（Retrieval-Augmented Generation，RAG）、微调和持续预训练。
RAG、微调和持续预训练需要的数据规模、数据来源和技术要求各不相同。例如，RAG需要GB级企业数据，微调需要GB级人工标的高质量数据，持续预训练则需要TB级未标的原始数据。RAG的数据来源是企业内部文档库、数据库、数据仓库、知识图谱；微调数据来源为私域知识；持续预训练数据来源为公开的数据集或企业各部门的数据。
企业构建数据底座面临三类挑战：一是在模型微调和预训练阶段，将海量原始数据转化为高质量的大数据集，对存储、清洗、治理的挑战；二是快速获取专有数据的挑战；三是基础模型频繁调用将会导致成本的增加和响应的延迟的挑战
企业构建数据底座也应从上述三类挑战入手：一是找到合适的存储来承载海量数据；清洗加工原始数据为高质量数据集；对整个组织内数据的发现编目治理；二是利用RAG将专有数据提供给基础模型；三是通过将之前问答生成的新数据存入缓存，从而在面对类似问题时，可以不调用模型，而直接通过缓存给出回答，这不但能够减少模型调用，还可以节约成本。

图片来源@亚马逊云科技

亚马逊云科技大中华区数据分析与生成式AI产品总监崔玮在交流中告诉钛媒体APP，从前端模型的使用来看，Amazon Bedrock提供了一个平台开放给客户，让客户自己选择适合自身业务场景的模型。同样在后端，无论是数据分析工具，还是数据库，都是希望通过提供一套最合适的产品和服务，让用户在任何一个应用，任何一个数据存储的环境，都可以通过向量化能力，对接到企业客户的不同业务场景中。

在数据存储方面，扩展性和响应速度是关键。Amazon S3对象存储，支持广泛的数据协议，应对各种数据类型，还支持智能分层以降低训练成本。Amazon FSx for Lustre文件存储服务，提供亚毫秒延迟和数百万IOPS的吞吐性能，能够进一步加快模型优化的速度。

在数据清洗方面，企业面临着繁重的数据清洗加工任务。Amazon EMR serverless采用无服务器架构，帮助企业运行任何规模的分析工作负载，自动扩展功能可在几秒钟内调整资源大小，以满足不断变化的数据量和处理要求。Amazon Glue是一个简单可扩展的无服务器数据集成服务，可快速完成微调或预训练模型的数据准备工作。

在数据治理方面，企业难以在多个账户和区域中查找数据，也缺乏有效的数据治理工具。Amazon DataZone让企业能够跨组织边界大规模地发现、共享和管理数据，不但能够为多源多模态数据进行有效编目和治理，还提供简单易用的统一数据管理平台和工具。

利用RAG技术将专有数据提供给基础模型。将向量搜索的支持功能加入到主流的数据服务中，通过将数据和向量存储在一起来提升数据查询性能。Amazon Neptune图数据库推出分析数据库引擎，以结合图数据库与大模型的优势，从而能够快速从图形数据中获取洞察，并进行更快的向量搜索。

在提升模型调用效率方面。Amazon Memory DB内存数据库通过缓存之前问答生成的新数据，实现对类似问题的快速响应和准确回答，同时有效降低基础模型的调用频率。此外，亚马逊云科技还将无服务器数据库服务和Amazon OpenSearch Serverless用于向量搜索。

正如亚马逊云科技大中华区产品部总经理陈晓建所言，“企业需要的是懂业务、懂用户的生成式AI应用，而打造这样的应用需要从数据做起。”

例如，北京灵奥科技是一家大模型中间件领域创企。在此之前，北京灵奥科技就已经将整个平台搭建在亚马逊科技之上，使用了Amazon EKS、Amazon DocumentDB、Amazon S3等基础云服务和数据存储产品，以及基于Amazon Bedrock提供的Claude模型，用于构建Vanus平台的AI Agent助手。