CLIP 是多模态人工智能、计算机视觉、图文检索、视觉语言模型和生成式 AI 中非常重要的一个术语，全称是 Contrastive Language–Image Pre-training，通常可译为“对比式语言—图像预训练”。它用来描述一种把图像和文本放到同一个表示空间中进行对齐的模型方法。换句话说，CLIP 是在回答：AI 怎样判断“一张图”和“一句话”是不是在表达同一个意思。

如果说传统图像分类模型通常只能在固定类别中判断“这张图是什么”，那么 CLIP 更进一步：它可以把图像和自然语言描述联系起来，使模型能够完成图文匹配、以文搜图、以图搜文、零样本分类、图像理解和生成模型文本引导等任务。

因此，CLIP 常用于图文检索、视觉语言模型、图像分类、图像生成、Stable Diffusion、图像内容审核、多模态搜索和大模型视觉理解中，是理解现代多模态 AI 的基础概念之一。

一、基本概念：什么是 CLIP

CLIP 是一种通过大量“图像—文本”配对数据训练出来的图文对齐模型。

它的核心思想是：

匹配的图像和文本，在向量空间中更接近；

不匹配的图像和文本，在向量空间中更远。

打开网易新闻 查看精彩图片

图 1：什么是 CLIP

例如，一张图片中是一只猫坐在窗边，对应文本是：

一只猫坐在窗边。

CLIP 会学习让这张图片的向量和这句话的向量更接近。

如果另一句话是：

一辆汽车停在路边。

CLIP 会学习让这张猫的图片和这句话的向量更远。

从通俗角度看：CLIP 像一个“图文配对判断器”。它不只是看图片，也不只是读文字，而是学习判断：这句话说的是不是这张图？

CLIP 的基本结构可以概括为：

• 图像 → 图像编码器 → 图像向量

• 文本 → 文本编码器 → 文本向量

• 图像向量与文本向量 → 计算相似度

因此，CLIP 的关键不是直接生成文字，也不是直接生成图像，而是把图像和文本映射到同一个语义空间中。

二、为什么需要 CLIP

CLIP 之所以重要，是因为传统视觉模型存在明显限制。

1、传统图像分类依赖固定类别

传统图像分类模型通常需要事先规定类别。

例如：猫、狗、汽车、飞机、房子……

模型训练完成后，往往只能在这些固定类别中做判断。

如果遇到新类别，例如：复古相机、蓝色陶瓷杯、赛博朋克风格城市……

模型可能无法直接处理。

CLIP 则可以借助自然语言描述来表示类别。

例如，不必把类别固定为“猫”或“狗”，而是可以用提示词描述：

一张复古相机的照片

这让模型具有更灵活的开放词汇能力。

2、真实世界需要图文互相理解

现实任务中，图像和文字经常同时出现。

例如：

• 商品图片与商品标题是否一致

• 新闻图片是否匹配新闻内容

• 用户用文字搜索图片

• AI 根据文字提示生成图像

• 多模态模型需要理解图片和问题

CLIP 的价值就在于打通图像和文本之间的语义桥梁。

3、自然语言比固定标签更灵活

传统标签可能只有：

dog

但自然语言可以表达更丰富的内容：

一只黑色小狗在草地上奔跑

这使模型可以理解更细粒度、更开放的视觉语义。

从通俗角度看：CLIP 让模型不再只会从固定标签中选答案，而是能用自然语言描述来理解图像。

三、CLIP 的核心结构

CLIP 通常包含两个编码器：图像编码器和文本编码器。

1、图像编码器

图像编码器负责把图片转换成向量。

可以表示为：

其中：

• x 表示输入图像

• E_image 表示图像编码器

• v 表示图像向量

图像编码器可以使用 CNN，也可以使用 Vision Transformer。

从通俗角度看：图像编码器负责把“图片内容”压缩成模型能比较的语义向量。

2、文本编码器

文本编码器负责把文本转换成向量。

可以表示为：

其中：

• y 表示输入文本

• E_text 表示文本编码器

• t 表示文本向量

例如，文本可以是：

一只猫坐在窗边

文本编码器会把这句话变成一个语义向量。

从通俗角度看：文本编码器负责把“文字描述”压缩成模型能比较的语义向量。

3、共享语义空间

CLIP 的关键是：图像向量 v 和文本向量 t 会被放到同一个语义空间中。

如果图像和文本含义匹配，它们的向量距离应该更近。

如果图像和文本含义不匹配，它们的向量距离应该更远。

可以概括为：图片不是直接变成文字，文字也不是直接变成图片，而是二者都变成可比较的语义向量。

四、对比学习：CLIP 如何训练

CLIP 的核心训练方法是对比学习。

打开网易新闻 查看精彩图片

图 2：CLIP 如何训练

假设一个 batch 中有 N 对图文数据：

(图像 N，文本 N)

其中，图像 i 与文本 i 是匹配的。

对于图像 i 来说：

• 文本 i 是正样本

• 其他文本是负样本

对于文本 i 来说：

• 图像 i 是正样本

• 其他图像是负样本

CLIP 的训练目标是：匹配图文相似度更高，不匹配图文相似度更低。

图像向量与文本向量的相似度通常可以用余弦相似度表示：

其中：

• v 表示图像向量

• t 表示文本向量

• v · t 表示向量点积

• ‖v‖ 和 ‖t‖ 表示向量长度

• sim(v, t) 表示图文相似度

相似度越高，表示图像和文本越匹配。

从通俗角度看：CLIP 的训练过程像做大量“图文配对题”。

模型不断学习：

这张图应该和哪句话配对？

这句话应该和哪张图配对？

训练足够多之后，模型就能形成较强的图文对齐能力。

五、CLIP 如何实现零样本分类

CLIP 的一个重要能力是零样本分类。

零样本分类指模型没有专门针对某个分类任务重新训练，也能借助文本提示完成分类。

例如，要判断一张图片属于以下哪一类：猫、狗、汽车？

传统分类模型通常需要输出固定类别概率。

CLIP 的做法不同。它会把类别变成文本提示：

一张汽车的照片

然后分别计算图片向量与这些文本向量的相似度。

可以表示为：

其中：

• x 表示输入图像

• p_c 表示类别 c 对应的文本提示词

• E_image(x) 表示图像向量

• E_text(p_c) 表示类别文本向量

• sim 表示相似度

• ĉ 表示预测类别

从通俗角度看，CLIP 不是直接问“这张图属于哪个固定标签”，而是问：这张图更像“一张猫的照片”，还是“一张狗的照片”，还是“一张汽车的照片”？

这使 CLIP 能够处理很多未专门训练过的新类别。

六、CLIP 的常见任务

CLIP 可以用于多种图文相关任务。

打开网易新闻 查看精彩图片

图 3：CLIP 的典型应用

1、图文匹配

输入一张图和一句话，判断二者是否匹配。

例如：

结果：匹配

如果文本是：

一辆汽车停在路边

结果就应是不匹配。

2、以文搜图

输入一段文字，从图片库中检索最相关的图片。

例如：

查询：一只橘猫坐在窗边

系统会找到与这句话最接近的图像向量。

3、以图搜文

输入一张图片，从文本库中找最匹配的描述、标签或标题。

例如：

返回：雪山、湖泊、自然风景

4、零样本图像分类

通过文本提示词构造类别，不重新训练模型即可分类。

例如：

一张手写数字图片

5、图像生成中的文本引导

在许多图像生成系统中，CLIP 或 CLIP 类似的文本编码器可以帮助模型理解提示词。

例如，Stable Diffusion 中常见的文本编码器就承担了把提示词转换成条件向量的作用。

从通俗角度看：CLIP 让“文字描述”和“视觉内容”可以互相找到对方。

七、CLIP 与 VLM、MLLM、Stable Diffusion 的关系

CLIP 经常与 VLM、多模态大模型和 Stable Diffusion 一起出现。

1、CLIP 与 VLM

VLM 是视觉—语言模型的统称。

CLIP 是 VLM 中非常典型的一类图文对齐模型。

可以理解为：VLM 是大类，CLIP 是其中一种经典路线。

不过，CLIP 通常主要输出图文相似度或向量表示，不一定直接生成长篇自然语言回答。

而许多现代 VLM 可以进行视觉问答、图像描述和多模态对话。

2、CLIP 与 MLLM

MLLM 是多模态大语言模型，通常把视觉输入接入大语言模型，使模型能进行多模态对话。

CLIP 可以作为多模态大模型中的视觉或文本对齐基础，也可以提供图文表示能力。

但 MLLM 通常比 CLIP 更强调：

• 多轮对话

• 图像问答

• 复杂推理

• 语言生成

• 多模态指令遵循

3、CLIP 与 Stable Diffusion

Stable Diffusion 需要理解用户提示词。

在很多 Stable Diffusion 系统中，文本编码器会把提示词转换为文本条件向量，用来引导 U-Net 去噪生成图像。

从作用上看，CLIP 或 CLIP 类似的文本编码器帮助图像生成模型理解：用户希望生成什么内容。

例如提示词：

一只橘猫坐在窗边，阳光照进房间，写实摄影风格

会被编码成条件向量，引导生成过程。

从通俗角度看：CLIP 主要用于“对齐图像和文字”。Stable Diffusion 则利用文本条件“根据文字生成图像”。

八、CLIP 的优势、局限与常见误解

1、CLIP 的主要优势

CLIP 最大的优势是开放词汇能力。

它不局限于固定分类标签，而是可以利用自然语言提示表达类别或概念。

其次，CLIP 具有较强的迁移能力。

它可以在许多新任务上通过提示词和相似度比较直接使用。

再次，CLIP 支持图文共同检索。

这使它非常适合多模态搜索、内容理解和图像管理。

从通俗角度看：CLIP 让模型能用语言去“指认”和“搜索”视觉内容。

2、CLIP 的主要局限

CLIP 也有局限。

首先，CLIP 不等于完整视觉理解。

它擅长图文匹配，但不一定能可靠完成复杂计数、精细定位、空间推理或因果理解。

其次，CLIP 可能受到提示词影响。

同一个类别用不同写法，效果可能不同。

例如：

一只橘猫坐在窗边

这些提示词可能带来不同结果。

再次，CLIP 可能学习到训练数据中的偏差。

如果训练数据存在偏见、错误关联或样本不平衡，模型也可能反映这些问题。

此外，CLIP 的相似度不是事实证明。

图文相似度高，只表示模型认为二者语义接近，不表示图片内容一定完全符合文本，也不表示结论经过严格核验。

3、常见误解

误解一：CLIP = 图像生成模型

不对。CLIP 本身主要做图文对齐和相似度计算，不直接生成图像。

误解二：CLIP = 图像分类模型

不完全对。CLIP 可以用于分类，但它的核心是图文对齐。

误解三：CLIP 相似度高就一定正确

不对。相似度高只是模型判断相关性强，仍可能误判。

误解四：CLIP 能精确理解图片中的所有细节

不对。CLIP 对细粒度定位、数量、文字读取和复杂关系可能不稳定。

九、如何更好地使用 CLIP

使用 CLIP 时，提示词设计很重要。

1、使用自然语言提示

与其只写类别词：

猫

很多时候可以写成：

一张猫的照片

这类自然语言模板更接近训练中的图文描述形式。

2、为类别设计多个提示词

同一个类别可以写多个提示词，然后取平均向量或平均分数。

例如：

一只小猫坐着

这可以减少单一提示词带来的偏差。

3、注意任务边界

CLIP 更适合判断图文语义相关性，而不是做精确测量。

例如，判断“是否像猫”比较适合；判断“图中有 17 个小物体”就不一定适合。

4、结合其他模型使用

在实际应用中，CLIP 常与其他模型结合：

• 与检测模型结合，做目标定位

• 与 OCR 结合，读取图中文字

• 与生成模型结合，做文本引导

• 与向量数据库结合，做图文检索

• 与大语言模型结合，做多模态解释

从实践角度看，CLIP 很适合作为图文语义桥梁，但不应把它当成万能视觉理解模型。

十、Python 示例

下面给出几个简化示例，帮助理解 CLIP 的基本思想。

示例 1：图文样本结构

这是一条典型的图文配对样本。CLIP 会学习让这张图和这句话的向量更接近。

示例 2：图文相似度的直观计算

这个例子只是演示余弦相似度。真实 CLIP 会先用图像编码器和文本编码器生成向量，再计算相似度。

示例 3：零样本分类的直观流程

这个例子展示了 CLIP 零样本分类的思想：把类别变成文本提示词，再比较图像与各提示词的相似度。

示例 4：以文搜图的简化思路

真实图文检索系统会把文本和图片都编码成向量，并在向量数据库中检索最相似结果。

示例 5：多个提示词模板

多个提示词模板可以让类别描述更稳定。在实际任务中，常会对多个提示词结果进行平均或集成。

小结

CLIP 是一种对比式语言—图像预训练模型，核心思想是把图像和文本编码到同一个语义空间中，让匹配图文更接近、不匹配图文更远。它可以用于图文匹配、图文检索、零样本分类和图像生成中的文本条件理解。对初学者而言，可以把 CLIP 理解为：一个把图片和文字放到同一语义坐标系中进行比较的图文对齐模型。

“点赞有美意，赞赏是鼓励”