做生成式AI落地的团队都清楚一件事:模型好不好,先看数据。微调开源模型、跑强化学习、搭评测集,全都依赖准确、标注规范、能代表任务场景的数据。对于边界清晰的具体任务,用干净的任务数据定制一个小模型,往往能在单次推理成本更低的前提下,达到甚至超过一个被提示词硬拽过来的大模型。

打开网易新闻 查看精彩图片

但现实里,准备数据常常是整个项目最慢的一段。标注样本稀缺或昂贵,隐私规则又限制了可用范围;重复样本、标签噪声、答案泄漏这类质量问题,往往要等到训练结果不理想才被发现;而每种训练方法又都要求数据符合各自的格式。数据科学家于是把大量时间花在整理数据上,而不是建模型。

亚马逊云科技这次给 Amazon SageMaker AI 增加了一组AI数据准备能力,覆盖合成样本生成、现有数据集的评估与改进,以及把专家反馈引入流程。使用方式是通过 Python SDK API 和 AWS AI-ML agent skill,在笔记本或 IDE 里完成,规格说明和代码都可以打开检查、直接修改。

五个独立积木,可单用可串联

  • 自动标注:从无标注数据集、少量标注种子集,甚至完全没有标签的情况下规模化打标。内置任务类型包括分类、命名实体识别、抽取式问答、序数评分和摘要,也支持自定义任务。任务用一段简短的标注规格描述,在正式标注全量数据前会先用你自己的样例做校验。对于答案集合固定的任务,由多个模型组成评审团逐行标注,模型间的一致程度就是该行的置信度分数。
  • 人工复核:低于置信度阈值的行会进入 Amazon SageMaker Studio 中的复核队列,底层用的是开源 Label Studio 社区版。外部领域专家可以通过 SageMaker Studio 中合作方应用框里的链接访问复核应用。复核者的修正会回流到自动标注环节,还可以生成一致性指标和标注报告。
  • 合成数据生成:按规格生成训练、评估和测试数据。输出可以锚定在自己的种子数据和文档上,服务会生成一条基于代码的数据生成流水线,可审查、修改、复用和扩展。
  • 数据质量评估:按自有业务规则、内置指标和 LLM-as-a-judge 指标检查数据集,找出重复与近重复,并暴露那些没想过要查的问题,比如标签噪声或答案泄漏。
  • 数据转换:为目标训练方法清洗和重塑数据。用自然语言描述改动即可生成代码,也可以使用去重、合并、拆分、过滤等内置操作,或大规模运行自己的 Python。

工作位置不变。可以直接用 SageMaker Python SDK,也可以把 agent 工具包里的 AI-ML skill 交给编码 agent,让它按既有的数据科学最佳实践调用这些 API。你描述需求,agent 在 SageMaker Studio JupyterLab、Kiro,或本地 IDE 配合你选的编码助手里挑选并运行对应能力。

从原始数据串到训练

单独用有价值,串起来价值更大。常见的一种玩法是搭黄金评测集:用少量种子集对原始数据做自动标注,高置信度行自动采纳,低置信度行交给人工复核,修正结果改善下一轮标注,最终得到一份经过人工验证、可用于给模型打分的可信数据集。

另一种是从原始文档一路走到训练好的模型:合成数据生成基于文档和种子数据造出任务样本;数据转换把数据整成监督微调(SFT)、直接偏好优化(DPO)或强化学习(RL)所需的格式;数据质量评估在花算力训练之前先查重复、泄漏和规则违规;最后用 SageMaker AI 的模型定制能力训练。

官方给了一个具体例子:某团队要为智能客服助手准备评测数据,产品手册里写明恢复出厂设置会清除已保存的设置,团队想测试助手在回答重置类问题时是否保留这条警告。流程是四步——先把产品手册作为上下文,描述需要的问题和参考答案,并写明保留警告这一要求,用编码 agent 生成规格后审查;再生成小批量样本,对照手册检查记录,审查生成与校验代码,确认覆盖了目标问题且参考答案忠于源材料;然后跑数据质量评估,查看记录级发现,请领域专家复核模糊答案或有争议的判定,并据此请求改进建议;最后按需修订规格或转换数据集处理重复等问题,补充生成样本,重新评估后再用于评测助手。

控制权与可用区域

用 AI-ML skill 时,你用自然语言描述任务,编码 agent 帮忙搭规格、准备代码、协调各步骤;这些产物都能打开查看配置方式并直接改动。如果更愿意自己调 API,就用 Python SDK 逐个调用能力。SDK 以规格为输入,官方建议先用 agent 辅助生成规格。

权限与数据归属方面,AI 数据准备使用你控制的 AWS Identity and Access Management(IAM)执行角色运行;源数据、生成的数据集和标签都留在你自己的 Amazon Simple Storage Service(Amazon S3)存储桶里,位于你选择的 AWS 区域。

该能力已在美国东部(弗吉尼亚北部)和美国西部(俄勒冈)区域正式可用。上手有两条路:在支持的笔记本或 IDE 里配置数据准备 skill,描述一个训练或评测任务,生成样本前先审查产出的规格;或者直接用 SageMaker Python SDK 运行单项能力。

思科旗下的 Splunk 在构建 Agent Observability 产品的评测模型时,正卡在特定任务高质量多样化数据难以整理这一步。Splunk Agent Observability 工程总监 Yash Sheth 表示,合成数据生成能力正在切实帮助其扩展这类能力,能够可靠且快速地生成具有统计代表性的合成数据集,同时保留模型所依赖的底层模式;与 SageMaker 其余工作流的无缝集成,让数据科学家和客户少花时间整理数据,多花时间构建模型。