跳到正文
日期与来源

日期按北京时间的资讯列表日期计算,包含起止当天。

9月30日周二
7月23日周三
  1. Hugging Face Blog29

    TimeScope:视频大模型到底能理解多长的视频?

    Hugging Face 上开源了长视频理解基准 TimeScope,通过向 1 分钟至 8 小时的视频中插入 5-10 秒的"针"片段,评测模型的局部检索、信息综合与细粒度时序感知三项能力。结果显示,包括 Gemini 2.5-Pro 在内的领先视觉语言模型在真正的长视频时序理解上仍明显吃力,且视频越长性能下降越明显。

7月17日周四
4月11日周五
2月24日周一
2月20日周四
2月12日周三
1月31日周五
1月27日周一
  1. Hugging Face Blog60

    Diffusers 团队梳理开源视频生成模型现状与优化方案

    Hugging Face Diffusers 团队发布文章,梳理开源视频生成模型现状,并介绍 Diffusers 对这类模型的支持方式。文中列出 CogVideoX、Mochi-1、HunyuanVideo、Allegro、LTX-Video 等开源模型,指出高资源需求、泛化能力和延迟是主要限制。

    推荐理由:Diffusers 团队系统梳理开源视频模型现状,并给出把 HunyuanVideo 显存压到约 6.5GB 的优化组合。

12月9日周一
  1. OpenAI News82

    OpenAI 视频生成模型 Sora 正式上线

    OpenAI 的视频生成模型 Sora 现已可在 sora.com 使用。用户可生成最高 1080p 分辨率、最长 20 秒的视频,支持宽屏、竖屏和方形画幅。用户可导入自有素材进行延展、重混与融合,也可完全由文本生成新内容。

    推荐理由:Sora 正式开放使用,创作者可据此了解其分辨率、时长与画幅等基础生成规格。

10月23日周三
  1. Hugging Face Blog22

    CinePile 2.0:用对抗式精炼打造更强的长视频问答数据集

    CinePile 2.0 发布,这是长视频问答数据集 CinePile 的升级版,采用新提出的对抗式精炼方法改进数据质量。初版 CinePile 于 2024 年 5 月推出,含约 30 万训练样本和 5000 测试样本,人类在该基准上比最好的商业视觉模型高 25%、比开源模型高 65%。团队同时开源了对抗式精炼方法的实现,可用于强化现有数据集。

9月23日周一
  1. Hugging Face Blog34

    FineVideo:43k 视频、3.4k 小时的开源视频数据集是如何构建的

    为缓解开源视频数据集稀缺问题,团队构建了 FineVideo,包含 43k 个视频、共 3.4k 小时,并标注了丰富描述、叙事细节、场景切分和 QA 对。该数据集从 YouTube-Commons 的 1.9M 条英文视频出发,经词密度与视觉动态性过滤,并用 Gemini 1.5 Pro 和 GPT-4o 完成内容标注与结构化输出。

6月20日周四
3月25日周一
2月15日周四
  1. OpenAI News82

    OpenAI 研究:视频生成模型可作为世界模拟器

    OpenAI 探索在视频数据上大规模训练生成模型,将文本条件扩散模型联合训练于不同时长、分辨率和宽高比的视频与图像,并采用在视频和图像 latent code 的时空 patch 上运行的 transformer 架构。其最大模型 Sora 能生成一分钟高保真视频,结果表明扩展视频生成模型是构建通用物理世界模拟器的一条有前景的路径。

    推荐理由:OpenAI 首次公开 Sora 的技术路线,说明视频生成模型可扩展为物理世界模拟器。

7月20日周四
7月17日周一
5月8日周一
  1. Hugging Face Blog30

    深入解析文本到视频模型:从 GAN 到扩散模型的发展与挑战

    Hugging Face 博客梳理了文本到视频模型的发展脉络:早期基于 GAN 和 VAE 的方法受限于低分辨率与短时长,随后 Phenaki、Make-A-Video、NUWA、VideoGPT、CogVideo 等转向 transformer 架构,当前主流则采用扩散模型。文本到视频需保证帧间时空一致性,面临算力成本高、高质量数据集稀缺、视频描述模糊三大挑战,模型通常只能生成极短片段。

1月3日周二
11月25日周五
  1. Hugging Face Blog12

    Hugging Face 与 Jonathan Whitaker 推出扩散模型课程并举办直播活动

    Hugging Face 与 Jonathan Whitaker 的扩散模型课程将于 11 月 28 日发布,免费讲解扩散模型理论与应用。配合课程上线,11 月 30 日将举办社区直播活动,Stable Diffusion 创作者及 Stability AI、Meta 等机构的研究者将带来演讲,聚焦扩散模型的高层介绍与构建应用的工具。