数字孪生能够有效地为工厂、零售空间等资产创建基于物理学的虚拟复制品,实现对现实世界环境的精确仿真。这使得大规模且具有特定用途的合成数据在现实世界的计算机视觉和 AI 工作流中变得越发重要。
基于 NVIDIA Omniverse 构建的 NVIDIA Isaac Sim 是一个完全可扩展的参考应用,可用于设计、模拟、测试和训练由 AI 赋能的机器人。Omni.Replicator.Agent (ORA) 是 Isaac Sim 中的一个用于生成合成数据的扩展程序。它所生成的合成数据可专门用于训练计算机视觉模型,例如 TAO PeopleNet Transformer 和 TAO ReIdentificationNet Transformer 等。
本文是构建多摄像头追踪视觉 AI 应用系列文章的第二篇文章。在第一篇文章中,我们从头到尾介绍了多摄像头追踪工作流,包括模型仿真、训练和部署,以及该工作流中的其他环节。
现在,我们将深入探讨仿真和训练步骤。我们会在这个过程中生成高质量的合成数据,这些数据用于根据特定用例对基础模型进行微调。本文将为您介绍 TAO ReIdentificationNet (ReID),它是一个常用于多摄像头追踪 (MTMC) 和实时定位系统 (RTLS) 应用的网络,能够在不同的摄像头视图中追踪和识别目标对象。本文还将说明如何使用从 ORA 采集的合成数据来提高 ReID 的准确性。
具体而言,我们将演示如何使用从 Isaac Sim 的 ORA 扩展程序中获取的数据以及 NVIDIA TAO API 对 ReID 模型进行训练和微调,使该模型能够满足您的使用需求。这让您能够自如地使用合成数据来扩充现有的真实数据集,提高数据集的多样性和模型的稳健性。
图 1. 仿真-训练-构建-部署工作流
本文中重点介绍的工作流可让您在合成数据上对 ReID 模型进行微调。ORA 扩展程序提供了一种记录角色移动的灵活方式,而 TAO API 提供了一种开发者友好的训练、推理、评估和导出微调后的 ReID 模型的方式,不需要进行任何标记工作就能帮助提高模型的准确性。
如要使用涵盖从仿真、微调到部署等整个视觉 AI 生命周期的 NVIDIA 工具定制和进一步构建工作流,请参见 Metropolis 多摄像头 AI 快速入门指南。如果遇到技术问题,请访问 NVIDIA TAO 论坛或 Isaac Sim 论坛:
https://forums.developer.nvidia.com/c/accelerated-computing/intelligent-video-analytics/tao-toolkit/17
https://forums.developer.nvidia.com/c/agx-autonomous-machines/isaac/sdk/68
如需了解本文完整信息,请参见以下链接:
https://mp.weixin.qq.com/s?__biz=MzU2NzkyMzUxMw==&mid=2247546491&idx=2&sn=ee3f29789f95f6c6c92334d11e763508&chksm=fc97b02dcbe0393b319e5e0433724d5f0ab9fdf68722d542022ecedf1d60e966229f6104703e#rd
热门跟贴