AI 生成像素画3篇硬核论文：从扩散模型到精灵图自动生成|pixel|像素|扩散模型|直方图|精灵图|色板|论文

AI 生成像素画3篇硬核论文：从扩散模型到精灵图自动生成

文本概览：全文约 4,119 字，阅读约 11 分钟。

像素画最近几年的热度有目共睹。不只是复古游戏和独立开发者在用，连主流视觉设计领域也开始重新拥抱这种"低分辨率、有限色板"的美学。

但问题是：画一张高质量的像素画依然很吃功夫——每一颗像素的位置、每一种颜色的搭配，都需要画师反复推敲。

2024 到 2025 年间，陆续有几篇重量级论文把像素画的自动生成往前推了一大步。

今天我就挑三篇最有代表性的，用大白话讲清楚它们各自解决了什么问题、技术路线是什么、以及对我们实际做项目有什么启发。

一、SD-πXL：用扩散模型直接生成像素画（SIGGRAPH Asia 2024）

论文：SD-πXL: Generating Low-Resolution Quantized Imagery via Score Distillation 作者：Alexandre Binninger, Olga Sorkine-Hornung 发表：SIGGRAPH Asia 2024（东京）论文地址：arxiv.org/abs/2410.06236[1] 代码：github.com/AlexandreBinninger/SD-piXL[2]

这是三篇里分量最重的一篇。

SIGGRAPH Asia 是计算机图形学领域的顶级会议，能在这里发表的论文，技术扎实度和实验规模都是经过严格检验的。

核心思路

SD-πXL 的思路非常直接：既然 Stable Diffusion 能生成高清照片，那能不能让它直接生成像素画？

问题的难点在于，Stable Diffusion 的生成过程是连续的浮点数运算，而像素画是离散的——每一格只能是一种颜色，不能是"介于红色和橙色之间的某种中间值"。

作者的办法是：在生成流程里插入一个可微分的量化模块。具体来说：

输入：用户给一个文字提示词（prompt），或者一张参考图，再指定输出分辨率（比如 64x64）和色板颜色数（比如 16 色）。
生成器：用一个 H × W × n 的张量来表示整张图，其中 n 是色板里的颜色数量。每个像素位置都有一个 softmax 概率分布，表示它属于哪种颜色的概率。
Gumbel-softmax 重参数化：softmax 出来的结果是连续的概率值，不能直接当作离散的像素颜色。作者用了 Gumbel-softmax 技巧，让这个过程变得"足够离散"，同时保留反向传播的能力。说人话就是：既能让模型端到端训练，又能让最终输出的像素足够"硬"、足够 crisp。
Score Distillation Sampling（分数蒸馏采样）：这是从 DreamFusion 等 3D 生成工作里借来的技术。核心思想是让预训练好的大模型（Stable Diffusion）充当一个"裁判"，指导生成器往"看起来更像真实像素画"的方向优化，而不是从零开始训练一个全新的生成模型。

能做什么

文字生成像素画：输入 "a cute cat in pixel art style"，直接输出对应提示词的像素画。
图像转像素画：上传一张照片，转换成指定分辨率和色板的像素风格版本，同时保留原图的语义特征（比如猫还是猫，不会变成狗）。
自定义色板：支持 Lospec 等社区色板，也可以自己定义颜色集合。
实体制造：论文还展示了把生成结果用于乐高马赛克、珠绣和刺绣设计的案例。

一句话评价

这是目前把扩散模型和像素画结合得最自然、效果也最接近人类画师水平的方案。

二、基于 CycleGAN 的图像到像素画转换

论文：Image-to-pixel-art Translation Based on CycleGAN 核心创新：SID（Signed Inception Distance）评估指标 + 嵌套 U-Net 生成器 + 结构组合损失

这篇论文走的是另一条路线：不生成全新的像素画，而是把已有的普通照片转换成像素画风格。

CycleGAN 是什么

CycleGAN 是图像风格迁移领域的经典框架。它的核心能力是：在没有成对训练数据的情况下，学会把 A 域的图像转换成 B 域的风格。比如把马变成斑马、把夏天风景变成冬天、把照片变成油画——都不需要"同一张图的马版本和斑马版本"这样的成对数据。

这篇论文把 CycleGAN 用在了"照片 → 像素画"这个任务上。

这篇论文的创新点

1. SID（Signed Inception Distance）新指标

传统评估生成图像质量的指标（比如 FID）主要是衡量生成图和真实图在特征空间上的分布差异。但对于像素画来说，这个指标有个问题：它没办法区分"风格对了但结构乱了"和"结构对了但风格不对"的情况。

SID 指标的设计思路是：不仅看"像不像"，还要看轮廓和结构是否保持完整。这对于像素画转换尤其重要——一张风景照片变成像素画之后，树应该还是树、房子应该还是房子，不能因为风格化而把物体的边界搞糊了。

2. 嵌套 U-Net 生成器

普通 U-Net 是编码器-解码器结构，用 skip connection 保留细节。这篇论文用的是嵌套 U-Net（Nested U-Net），在原始 U-Net 的 skip connection 之间再插入额外的卷积模块，让网络能更好地捕捉多尺度的结构信息。

3. 结构组合损失

除了 CycleGAN 原本的对抗损失和循环一致性损失，作者还加入了一个专门针对轮廓完整性的损失项。简单说就是：转换前后的图像，在边缘检测器眼里应该长得差不多。

一句话评价

如果你手头有一堆普通照片或概念设计图，想批量转换成像素画风格，这条技术路线比从零生成更可控、更稳定。

三、像素画角色精灵自动生成（Graphical Models 2024）

论文：Pixel art character generation as an image-to-image translation problem 作者：Flávio Coutinho, Luiz Chaimowicz 发表：Graphical Models（ScienceDirect），2024 DOI：10.1016/j.gmod.2024.101213[3] arXiv 版本：A Missing Data Imputation GAN for Character Sprite Generation[4]

这篇论文解决的是一个非常具体的游戏开发痛点：角色精灵图（sprite sheet）的自动生成。

游戏开发的实际痛点

一个 2D 游戏角色通常有 4 个朝向（前、后、左、右），每个朝向又有行走、攻击、受伤等好几套动画。

画师画完正面行走帧之后，还要逐个画出背面、左面、右面的对应帧。

这个过程重复性极高，但又不能交给不懂像素画规律的自动化工具随便处理——不然角色会"变形"或"气质不对"。

核心思路

作者把问题重新定义为"缺失数据插补"（Missing Data Imputation）：

假设你已经画好了角色正面、背面、左面的所有帧，只剩下右面没画。那么右面的每一帧，就是"已知三面信息的条件下，缺失的那一面"。这本质上是一个条件生成问题。

论文用的是 GAN（生成对抗网络）框架，但在基础架构上做了两个关键改进：

1. 色板表示层（Palette Representation Layer）

普通图像生成网络直接操作 RGB 值。但像素画的核心特征之一就是有限色板——一张图可能只用 8 到 32 种颜色。作者在网络中加入了一个专门的层，让模型在色板索引空间（而不是 RGB 空间）里操作。这样做有两个好处：一是生成的结果天然满足"有限色板"的约束；二是模型更容易学会像素画特有的颜色搭配规律。

2. 直方图损失函数（Histogram Loss）

这个损失函数的作用是：让生成图像的颜色分布与目标域（真实像素画）的颜色分布保持一致。比如真实像素画里某种肤色出现频率很高，那生成结果里这种肤色也应该以相近的频率出现。直方图损失直接对颜色分布做约束，避免了某些颜色被过度使用或完全缺失的问题。

实验结果

论文测试了三种缺失场景：缺 1 个朝向、缺 2 个朝向、缺 3 个朝向。结果显示：当可用参考图像越多时，生成质量越接近直接用完整数据集训练的效果。

也就是说，只要你已经画了角色的一部分，AI 就能合理地"补完"剩余部分。

一句话评价

对于游戏开发者来说，这篇论文的意义在于：它证明了一个角色的多个朝向之间确实存在可学习的映射规律，

AI 可以帮画师承担大量重复劳动。

三篇论文的对比总结维度 SD-πXL CycleGAN 像素画转换角色精灵图生成任务类型文字/图像 → 像素画生成照片 → 像素画风格迁移已知朝向 → 缺失朝向补全核心模型Stable Diffusion + SDS CycleGAN + 嵌套 U-Net GAN + 色板表示层关键技术Gumbel-softmax 量化 SID 指标 + 结构损失直方图损失 + 缺失数据插补输入prompt / 参考图普通照片已有角色精灵图（部分朝向）输出控制分辨率 + 色板可指定风格可控、结构保留自动补全缺失朝向最适用场景从零创作像素画批量转换素材风格游戏角色动画制作对实际项目的启发

如果你是像素画爱好者或独立游戏开发者，这三篇论文的技术路线可以这么用：