There are the overall of paper with code for CV / AIGC / LLM / VLM.
https://github.com/Gojay001/paper-with-code-skills.
[Updating…]
ControlNet — Adding Conditional Control to Text-to-Image Diffusion Models
大扩散模型（如 Stable Diffusion）只会听文字，难精确控构图、姿态、边缘。ControlNet = 锁住原 U-Net 权重 + 复制可训练支路，用 zero-init 1×1 卷积渐进注入条件，不破坏预训练能力。可训 Canny / depth / pose / seg 等；小数据集也稳；「sudden convergence」现象——几百步后 loss 突然下降、条件控制突然学会。
ChordEdit — One-Step Low-Energy Transport for Image Editing
一步文生图模型（如 SD-Turbo、SwiftBrush-v2、InstaFlow）把原本需要几十步的扩散蒸馏成一次前向就能出图——合成速度极快，自然让人期待「实时编辑」。但把传统编辑套路（源/目标 prompt 的 drift 差分）硬塞进一步模型会彻底翻车：物体严重扭曲、背景碎裂——因为 naive 编辑场是两个大幅度、发散轨迹的算术差，能量高、方差大，单步大积分误差累积致命。
Wan2.1 — Open and Advanced Large-Scale Video Generative Models
开源文生视频（HunyuanVideo、CogVideoX、Mochi）与闭源 Sora 仍有性能/能力/效率差距。Wan2.1 = 阿里 Wan 团队全栈技术报告 + 开源：Wan-VAE（3D 因果、4×8×8 压缩、127M 参数 + feature cache 流式编解码）+ DiT + Flow Matching（umT5 文本、3D RoPE 全时空注意力、共享 timestep MLP 省 25% 参）+ 十亿级图文视频预训练（256→480→720 分辨率课程）+ Wan-Bench 自动评测。提供 1.3B（8.19GB VRAM 消费级）与 14B 两档；覆盖 T2V/I2…
CogVideoX — Text-to-Video Diffusion Models with An Expert Transformer
文生视频 = 扩散 + DiT，但旧模型动作小、时长短、叙事难连贯。CogVideoX 四件套：3D 因果 VAE（时空 8×8×4 压缩，减 flicker）+ Expert Transformer（文本/视频 Expert AdaLN + 3D full attention 替代 2D+1D 分离注意力）+ Multi-Resolution Frame Pack（混时长/分辨率 batch 训练）+ 密集 caption 流水线（Panda70M → CogVLM 帧 caption → GPT-4 汇总 → CogVLM2-Caption）。产出 768×1360、16fps、10 秒视…
SD 3 — Scaling Rectified Flow Transformers
SD 1.x/2.x 像沿着弯弯曲曲的河道把噪声「擦」成图——DDPM/VP 调度路径长，少步采样容易糊。Rectified Flow（整流流）则走直线：$z_t=(1-t)x_0+t\epsilon$，数据与噪声之间一根绳，理论上一步就能走完（实际仍需多步积分，但比弯曲扩散更省步）。本文（SD3）的第一招是：在大规模文生图里证明「直线流 + 聪明的时间步采样」能打赢传统 LDM-linear / EDM 扩散配方。
Recent
Recent