CVAT接入Amazon S3让标注团队再也不需要手动搬运数据集。整个验证流程只有三步,却解决了长期困扰大规模标注的两个核心问题:本地存储爆炸和多人协作时的文件同步冲突。
CVAT是计算机视觉和ML管线中主流的开源标注平台,支持框、多边形、分割掩码、3D点云等几乎所有标注类型,能直接处理图像与视频,输出COCO、YOLO、Pascal VOC等常用格式。问题在于,当原始媒体文件堆积在本地时,几万张图片或几小时的视频会迅速撑爆存储,多个标注员共享本地目录还会产生版本冲突和带宽瓶颈。
打开网易新闻 查看精彩图片
把数据搬上S3,这两道坎就消解了。一个桶就能装下任意规模的数据集,版本控制保护源文件不被误改,而CVAT的Cloud Storage模块直接对接S3,标注员按需拉取帧,省去本地下载和同步脚本。如果CVAT通过Yobitel平台从AWS Marketplace部署,EC2和S3放在同一地域,延迟和数据传出费用从一开始就能压到最低。
连接的第一步是创建S3桶:在AWS控制台指定桶名和地域,务必打开“阻止所有公开访问”。CVAT通过IAM凭据鉴权,公开访问完全没有必要。第二步是建一个具有AmazonS3ReadOnlyAccess或FullAccess权限的IAM用户。第三步回到CVAT界面,在Cloud Storage下的“+”处填入该IAM用户的Access Key ID和Secret Access Key,完成桶的注册。
链接生效后,CVAT会把完成的标注数据集直接输出回S3,整个流程不再需要人工中转文件。第一步创建的S3桶里,其他默认设置都保持不动即可,核心就是桶名、地域和彻底的访问阻断。
热门跟贴