月初Meta发布了"分割一切"AI模型(SAM)，该模型可以为任何图像或视频中的任何物体生成mask，即使是没有见过的物体和图像类型。这项技术被认为是计算机视觉领域的里程碑之一，并在社交媒体上引起了热议。

虽然SAM具有巨大的潜力，但目前其应用主要集中在图像领域，在视频领域的应用仍然未被深入探索。对视频目标的跟踪/分割仍然面临着巨大挑战，包括现有跟踪模型的局限性，如场景切换对精准定位的影响以及需要准确的模版初始化等问题。

针对这些问题，南方科技大学郑锋团队提出了基于SAM二次创作的"跟踪一切"(TAM)交互工具。TAM可适用于视频领域的任意目标跟踪任务，并通过简单鼠标点击实现对任意视频任意目标的像素级跟踪。

相比现有跟踪模型，TAM解决了跟踪模型的局限性，同时保持了跟踪的交互性、灵活性和可用性。因此，TAM的推出被视为进一步完善和发展计算机视觉领域的重要一步。

Track-Anything 是一个灵活交互的视频物体跟踪和分割工具。它基于Segment Anything 进行开发，可以通过用户点击指定任何需要跟踪和分割的内容。在跟踪过程中，用户可以自由更改要跟踪的对象或者纠正感兴趣区域中的任何不明确部分。这些特点使 Track-Anything 适用于：

带有镜头切换的视频物体跟踪和分割

视频物体跟踪和分割的可视化开发和数据注释

面向对象的下游视频任务，如视频修补和编辑

Track-Anything可以跟踪视频上移动的物体，比如会动的清明上河图。《清明上河图》作为一幅历史名画，人物众多、形态各异，还包含各种动作等元素，想要从中跟踪出目标难度较大。Track Anything在该场景下很好地跟踪了物体：

以及球赛现场捕捉球员，球赛现场，运动员动作激烈，奔跑跳跃很难捕捉，但是Track Anything很好地进行了追踪。

接下来我们实际操作一下看看它到底怎么样首先任意选择一个视频或者自己上传一段视频，它就会自动分割视频中的物体。

感兴趣的朋友可以自取地址体验一下

论文地址：https://arxiv.org/pdf/2304.11968.pdf

项目地址：https://github.com/gaomingqi/Track-Anything

Demo 地址：https://huggingface.co/spaces/watchtowerss/Track-Anything