EAGLE-4 技术深度解析:Fireworks 与 fal 发布投机解码基准数据集
Fireworks 与 fal 联合发布 EAGLE-4 技术分析及面向创意任务的投机解码基准数据集 Prompt Enhancement SpecBench。该数据集含 400 个样本,覆盖文生视频、图生视频、文生图、图生图四类各 100 例。EAGLE-4 在 Qwen 3.8 27B 上采用滑动窗口注意力与低秩候选头降低草稿成本,验证树由 GPU 延迟测量动态调整宽度与深度。
Fireworks 与 fal 联合发布 EAGLE-4 技术分析及面向创意任务的投机解码基准数据集 Prompt Enhancement SpecBench。该数据集含 400 个样本,覆盖文生视频、图生视频、文生图、图生图四类各 100 例。EAGLE-4 在 Qwen 3.8 27B 上采用滑动窗口注意力与低秩候选头降低草稿成本,验证树由 GPU 延迟测量动态调整宽度与深度。
Apple 研究者提出首个从头预训练的三模态掩码扩散模型(MDM),同时处理文本、图文和音频-文本数据,并系统分析了多模态扩展规律、模态混合比例、噪声调度与批大小影响。
NVIDIA 发布 Cosmos3-Nano 在 LIBERO-10 上后训练的动作策略检查点 S5_2,为 Cosmos Cookbook 合成数据对照研究中的一个实验单元。
NVIDIA 发布 Cosmos3-Nano 在 LIBERO-10 上后训练的动作策略检查点 S5_all,属 Cosmos Cookbook 合成数据对照实验的一个单元。
Epidemic Sound 与牛津大学 VGG 合作推出音频-文本检索框架 AuroLA,基于开源 Qwen2.5-Omni-7B,将多模态大模型同时用作快速检索与精排骨干,在所有测试基准上超越此前最优,训练数据量约为同类系统的 1%。该框架已投入生产,支撑 Epidemic Sound 的音效搜索,并开源了 1,297 条人工标注音效验证基准,采用 CC BY-NC-ND 4.0 许可。
Google DeepMind 推出 D4RT(Dynamic 4D Reconstruction and Tracking),一个统一 4D 场景重建与追踪的 AI 模型,采用编码器-解码器 Transformer 架构和查询机制,可同时完成点追踪、点云重建与相机位姿估计。
OpenAI 对连续时间一致性模型做了简化、稳定化和规模化改进,仅用两步采样即可达到与主流扩散模型相当的样本质量。
CinePile 2.0 发布,这是长视频问答数据集 CinePile 的升级版,采用新提出的对抗式精炼方法改进数据质量。初版 CinePile 于 2024 年 5 月推出,含约 30 万训练样本和 5000 测试样本,人类在该基准上比最好的商业视觉模型高 25%、比开源模型高 65%。团队同时开源了对抗式精炼方法的实现,可用于强化现有数据集。
OpenAI 提出 Consistency Models,可在不依赖迭代采样的情况下实现图像、音频和视频生成。扩散模型虽推动了这些领域的发展,但其迭代采样过程导致生成速度缓慢。
OpenAI 探索在视频数据上大规模训练生成模型,将文本条件扩散模型联合训练于不同时长、分辨率和宽高比的视频与图像,并采用在视频和图像 latent code 的时空 patch 上运行的 transformer 架构。其最大模型 Sora 能生成一分钟高保真视频,结果表明扩展视频生成模型是构建通用物理世界模拟器的一条有前景的路径。
推荐理由:OpenAI 首次公开 Sora 的技术路线,说明视频生成模型可扩展为物理世界模拟器。
Hugging Face Diffusers 团队与 T2I-Adapter 作者合作为 Stable Diffusion XL 提供 T2I-Adapter 支持,并发布 sketch、canny、lineart、depth、openpose 等条件的 checkpoint。
推荐理由:对比 ControlNet 的参数量与推理开销,给出 T2I-Adapter 在 SDXL 上的可控生成方案与可复用训练脚本。
苹果与 Hugging Face 将 Stable Diffusion XL 基础模型移植到 Core ML,可在运行 macOS 14 公测版的 Apple Silicon Mac 上使用,目前采用 ORIGINAL attention 实现,refiner 阶段尚未移植。
推荐理由:苹果与 Hugging Face 联合给出 SDXL 在 Mac 上的 Core ML 混合位量化方案,附各机型实测延迟与压缩配方。
Perceiver IO 已加入 Hugging Face Transformers,这是首个能处理文本、图像、音频、视频、点云等多种模态及其组合的 Transformer 类神经网络。
OpenAI 发现,在语言上训练的大型 Transformer 模型,改用像素序列训练后同样能生成连贯的图像补全与样本。研究还建立了样本质量与图像分类准确率之间的相关性,表明其最佳生成模型在无监督设定下所包含的特征可与顶级卷积网络媲美。
OpenAI 开发出 Sparse Transformer,一种在预测文本、图像或声音序列下一项任务上刷新纪录的深度神经网络。它通过改进注意力机制的算法,可从比以往长 30 倍的序列中提取模式。