ControlNet — Adding Conditional Control to Text-to-Image Diffusion Models
大扩散模型（如 Stable Diffusion）只会听文字，难精确控构图、姿态、边缘。ControlNet = 锁住原 U-Net 权重 + 复制可训练支路，用 zero-init 1×1 卷积渐进注入条件，不破坏预训练能力。可训 Canny / depth / pose / seg 等；小数据集也稳；「sudden convergence」现象——几百步后 loss 突然下降、条件控制突然学会。
ChordEdit — One-Step Low-Energy Transport for Image Editing
一步文生图模型（如 SD-Turbo、SwiftBrush-v2、InstaFlow）把原本需要几十步的扩散蒸馏成一次前向就能出图——合成速度极快，自然让人期待「实时编辑」。但把传统编辑套路（源/目标 prompt 的 drift 差分）硬塞进一步模型会彻底翻车：物体严重扭曲、背景碎裂——因为 naive 编辑场是两个大幅度、发散轨迹的算术差，能量高、方差大，单步大积分误差累积致命。
Wan — Open and Advanced Large-Scale Video Generative Models (Wan2.1)
开源文生视频（HunyuanVideo、CogVideoX、Mochi）与闭源 Sora 仍有性能/能力/效率差距。Wan2.1 = 阿里 Wan 团队全栈技术报告 + 开源：Wan-VAE（3D 因果、4×8×8 压缩、127M 参数 + feature cache 流式编解码）+ DiT + Flow Matching（umT5 文本、3D RoPE 全时空注意力、共享 timestep MLP 省 25% 参）+ 十亿级图文视频预训练（256→480→720 分辨率课程）+ Wan-Bench 自动评测。提供 1.3B（8.19GB VRAM 消费级）与 14B 两档；覆盖 T2V/I2…
CogVideoX — Text-to-Video Diffusion Models with An Expert Transformer
文生视频 = 扩散 + DiT，但旧模型动作小、时长短、叙事难连贯。CogVideoX 四件套：3D 因果 VAE（时空 8×8×4 压缩，减 flicker）+ Expert Transformer（文本/视频 Expert AdaLN + 3D full attention 替代 2D+1D 分离注意力）+ Multi-Resolution Frame Pack（混时长/分辨率 batch 训练）+ 密集 caption 流水线（Panda70M → CogVLM 帧 caption → GPT-4 汇总 → CogVLM2-Caption）。产出 768×1360、16fps、10 秒视…
SD 3 — Scaling Rectified Flow Transformers for High-Resolution Image Synthesis
SD 1.x/2.x 像沿着弯弯曲曲的河道把噪声「擦」成图——DDPM/VP 调度路径长，少步采样容易糊。Rectified Flow（整流流）则走直线：$z_t=(1-t)x_0+t\epsilon$，数据与噪声之间一根绳，理论上一步就能走完（实际仍需多步积分，但比弯曲扩散更省步）。本文（SD3）的第一招是：在大规模文生图里证明「直线流 + 聪明的时间步采样」能打赢传统 LDM-linear / EDM 扩散配方。
FM — Flow Matching for Generative Modeling
想象生成一张图片，就像把一片噪声云慢慢「流」成一座数据岛：起点是随机混沌，终点是清晰图像。扩散模型（DDPM）走的是一条绕远路的弯曲河道——粒子必须沿预设的 VP 噪声调度蜿蜒前行，采样步数多、路径长；而最优传输（OT）则像直线航道，两点之间最短。
Stable Diffusion / LDM — High-Resolution Image Synthesis with Latent Diffusion Models
以前的扩散模型（如 DDPM）直接在「像素世界」里反复擦噪点画图——一张 512×512 的图有 78 万个像素，每一步去噪都要在这么大的画布上算一遍，训练动辄几百张 GPU 卡跑上几周。本文（潜在扩散 LDM，也就是后来的 Stable Diffusion）的核心招数是：先把图压缩到一个小很多的「缩略草稿世界」里再画。
DDPM — Denoising Diffusion Probabilistic Models
想象一个「倒放」游戏：先把一张清晰照片一帧帧泼上雪花噪点，直到变成满屏的电视雪花；DDPM 要训练 AI 学会把这个过程倒着放——从纯雪花开始，一步步擦掉噪点，最后还原出一张全新的、以前没见过的照片。
Recent
Recent