InnoAds-Composer — Efficient Condition Composition for E-Commerce Poster Generation

任务:电商海报 = 一张图里同时摆对商品主体、促销文案、背景风格。多阶段 pipeline(先合成场景再贴字)常出现主体走样、文字错字、风格不统一。

Qihoo-T2X — An Efficient Proxy-Tokenized Diffusion Transformer for Text-to-Any-Task

问题:DiT 全局 self-attention 对视觉 token 是 $O(N^2)$,高分辨率图/长视频算不动;且 PixArt 注意力图显示同窗口内 token 对远处位置注意力几乎一样——大量全局注意力是冗余的。

U-StyDiT — Ultra-high Quality Artistic Style Transfer Using Diffusion Transformers

任务:给定内容图 + 风格图,生成超高画质艺术风格化结果——结构跟内容、笔触跟风格,且无伪影/不和谐纹理。

RelaCtrl — Relevance-Guided Efficient Control for Diffusion Transformers

给 DiT 加「可控生成」(Canny、Depth、Seg 等)时,主流做法很「笨重」:PixArt-δ 直接复制前 13 个 DiT block 做 ControlNet,参数和 FLOPs 各涨约 50%;OminiControl 把控制 token 拼进序列,token 数翻倍,FLOPs 涨约 70%。更关键的是——它们假设每一层对控制信号同等重要,均匀堆控制模块,造成大量冗余。

PixArt-δ — Fast and Controllable Image Generation with Latent Consistency Models

PixArt-α 已是高效 DiT 文生图基座;PixArt-δ 在其上叠两层能力:LCM 蒸馏把采样从 14 步压到 2–4 步,A100 上 0.5s/1024px(相对 α 约 7× 加速);ControlNet-Transformer 把边缘/深度等条件注入 DiT,实现细粒度可控生成。

PixArt-α — Fast Training of Diffusion Transformer for Photorealistic Text-to-Image Synthesis

文生图(T2I)训练极贵——Stable Diffusion 1.5 级别模型常需数百万 GPU 时。PixArt-α 的核心思路是「分阶段解耦」:不要一上来就 1024px + 文本 + 美学一起学,而是拆成三步——先学像素依赖(低分辨率、无文本),再学文图对齐,最后学美学与高分辨率。每一步只解决一个子问题,训练更稳、更省。

ControlNet — Adding Conditional Control to Text-to-Image Diffusion Models

大扩散模型(如 Stable Diffusion)只会听文字,难精确控构图、姿态、边缘。ControlNet = 锁住原 U-Net 权重 + 复制可训练支路,用 zero-init 1×1 卷积渐进注入条件,不破坏预训练能力。可训 Canny / depth / pose / seg 等;小数据集也稳;「sudden convergence」现象——几百步后 loss 突然下降、条件控制突然学会。

ChordEdit — One-Step Low-Energy Transport for Image Editing

一步文生图模型(如 SD-Turbo、SwiftBrush-v2、InstaFlow)把原本需要几十步的扩散蒸馏成一次前向就能出图——合成速度极快,自然让人期待「实时编辑」。但把传统编辑套路(源/目标 prompt 的 drift 差分)硬塞进一步模型会彻底翻车:物体严重扭曲、背景碎裂——因为 naive 编辑场是两个大幅度、发散轨迹的算术差,能量高、方差大,单步大积分误差累积致命。

SD 3 — Scaling Rectified Flow Transformers for High-Resolution Image Synthesis

SD 1.x/2.x 像沿着弯弯曲曲的河道把噪声「擦」成图——DDPM/VP 调度路径长,少步采样容易糊。Rectified Flow(整流流)则走直线:$z_t=(1-t)x_0+t\epsilon$,数据与噪声之间一根绳,理论上一步就能走完(实际仍需多步积分,但比弯曲扩散更省步)。本文(SD3)的第一招是:在大规模文生图里证明「直线流 + 聪明的时间步采样」能打赢传统 LDM-linear / EDM 扩散配方。

FM — Flow Matching for Generative Modeling

想象生成一张图片,就像把一片噪声云慢慢「流」成一座数据岛:起点是随机混沌,终点是清晰图像。扩散模型(DDPM)走的是一条绕远路的弯曲河道——粒子必须沿预设的 VP 噪声调度蜿蜒前行,采样步数多、路径长;而最优传输(OT)则像直线航道,两点之间最短。

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×