DiT

DiT是什么

DiT（Diffusion Transformers）是由William Peebles和Saining Xie提出的创新图像生成模型，通过将扩散模型与Transformer架构结合，替代传统U-Net架构。其核心特点包括：

• 基于Transformer的序列化建模能力，处理图像潜在表示；
• 在低维潜在空间训练，显著降低计算复杂度；
• 支持动态调整计算资源，通过即插即用技术（如AdaCache）实现推理速度提升2.6倍以上；
• 生成质量与模型规模呈正相关，最高FID值可达2.27（ImageNet 256×256基准）。

DiT的功能特点

• 高效架构设计：使用Vision Transformer处理图像分块序列，结合自适应层归一化（adaLN）优化条件注入；
• 动态资源分配：通过内容感知调度和正则化技术，按需分配去噪步骤，提升生成效率；
• 多模态扩展性：支持从图像生成延伸至视频、3D形状（如DiT-3D）及多任务视觉建模；
• 零样本适应能力：无需微调即可适应艺术创作、虚拟环境生成等多样化场景。

如何使用DiT

• 数据预处理：使用预训练VAE将图像编码至潜在空间，压缩维度至原尺寸的1/16；
• 分块与标记化：将潜在表示分割为固定尺寸的Patch，并嵌入为Token序列；
• 扩散与去噪：通过多层级Transformer块逐步去噪，结合时间步嵌入控制生成过程；
• 加速优化：集成AdaCache技术，动态跳过冗余计算步骤，单A100 GPU实现4.7倍加速。

DiT的应用场景

• 高分辨率图像生成：支持512×512分辨率图像生成，适用于广告设计、医学影像合成；
• 视频内容生产：结合时空潜在编码，生成16秒连贯视频，帧率提升至30FPS；
• 3D工业建模：通过DiT-3D变体生成体素化点云数据，应用于虚拟现实与自动驾驶仿真；
• 跨任务迁移学习：基于统一架构实现图像修复、风格迁移、超分辨率等20+视觉任务。