2025年最新PG电子游戏攻略与沉浸式试玩技巧！注册即领新手礼包(访问：363050.com 领取888U)，手机版全面适配iOS/Android，跨平台数据互通，每日更新限时优惠！立即探索科幻世界，开启你的PG电子之旅。随着 Deepseek 等强推理模型的成功，强化学习在大语言模型训练中越来越重要，但在视频生成领域缺少探索。复旦大学等机构将强化学习引入到视频生成领域，经过强化学习优化的视频生成模型，生成效果更加自然流畅，更加合理。并且分别在 VDC（Video Detailed Captioning）[1] 和 VBench [2] 两大国际权威榜单中斩获第一。

　　视频细粒度文本描述模型（video detailed caption）为视频生成模型提供标签，是视频生成的基础。复旦大学等机构提出了 Cockatiel 方法 [3]，该方法在权威的 VDC（Video Detailed Captioning 视频细粒度文本描述评测集）榜单上获得第一名，超过了包括通义千问 2-VL、VILA1.5、LLaVA-OneVision，Gemini-1.5 等在内的多个主流视频理解多模态大模型。

　　Cockatiel 的核心思路是：基于人类偏好对齐的高质量合成数据，设计三阶段微调训练流程，系统集成了多个在不同描述维度上表现领先的模型优势。通过这一方法，以单机的训练成本训练出了一套在细粒度表达、人类偏好一致性等方面均表现卓越的视频细粒度描述模型，为后续视频生成模型的训练和优化打下了坚实基础，模型细节如下（更多详情可参考论文和开源 github）：

　　阶段一：构造视频细粒度描述的人类偏好数据：分别对视频描述的对象、对象特征、动态特征、镜头动作和背景的文本描述质量进行人工标注。阶段二：基于打分器的多模型集成训练：基于人工标注数据训练奖励函数（reward model），并多个模型合成的视频描述计算奖励（reward），最终对 13B 的多模态大语言模型进行人类偏好对齐优化。阶段三：蒸馏轻量化模型：基于上一步训练的 13B 的多模态大语言模型蒸馏 8B 模型，方便后续在下游任务中低成本推理。

　　实验结果显示基于 Cockatiel 系列模型生成的视频细粒度描述，具备维度全面、叙述精准详实以及幻觉现象较少的显著优势。如下图所示，与 ViLA，LLaVA 和 Aria 的基线模型相比，Cockatiel-13B 不仅能够准确复现基线模型所描述的细节（以黄底高亮部分表示），还能捕捉到基线模型遗漏的关键信息（以红底高亮部分表示）。而 Cockatiel 生成的描述则大量避免了幻觉性内容，Cockatiel 展现了更高的可靠性和准确性。

　　在视频生成领域，该团队首次提出了迭代式强化学习偏好优化方法 IPOC [4]，在权威视频生成评测榜单 VBench (2025-04-14) 上，IPOC 以 86.57% 的总分强势登顶，领先通义万相、Sora、HunyuanVideo、Minimax、Gen3、Pika 等众多国内外知名视频生成模型。

　　研究者通过迭代式强化学习优化方式，避免了强化学习中训练不稳定的问题。同时只需要依赖少量的训练数据和算力，以低成本实现效果优化。 模型细节如下（更多详情可参考论文和开源 github）：

　　阶段一：人工偏好数据标注：IPO 方法通过逐视频打分（Pointwise Annotation）与成对视频排序（Pairwise Annotation）两种方式进行人工标注。标注过程中，标注者不仅需要提供评分或排序结果，还需详细阐述评分理由，以构建具有思维链（Chain-of-Thought, CoT）风格的标注数据。这种标注形式有助于模型深入理解视频内容与文本描述之间的语义一致性，从而形成高质量的人类偏好数据集。

　　阶段二：奖励模型训练：IPO 方法进一步引入了一种基于多模态大模型的 “奖励模型”（Critic Model）。奖励模型仅通过少量人工标注数据和少量算力即可高效训练完成，随后可自动实现对单个视频的评分以及对多个视频的对比排序。这种设计无需在每次迭代优化时都重新进行人工标注，显著提高了迭代优化效率。此外，奖励模型具备出色的通用性和 “即插即用” 特性，可广泛适配于各类视频生成模型。

　　阶段三：迭代强化学习优化：IPO 方法利用当前的视频生成（T2V）模型生成大量新视频，并由已训练的奖励模型对这些视频进行自动评价与标注，形成新的偏好数据集。随后，这些自动标注的数据用于进一步优化 T2V 模型。这一过程持续迭代循环，即：“视频生成采样 → 样本奖励计算 → 偏好对齐优化”。此外，我们提出的 IPO 框架同时兼容当前主流的偏好优化算法，包括基于对比排序的 Diffusion-DPO 方法与基于二分类评分的 Diffusion-KTO 方法，用户可灵活选择训练目标，其中两种人类偏好对齐方法（DPO 和 KTO）的训练目标为：

　　实验结果显示经过优化后，视频生成模型在时序一致性上实现了显著提升。相比于 CogVideoX-2B（左图），IPOC-2B 生成的视频（右图）中，狮子的行走动作更加自然连贯，整体动态流畅度有了明显改善。

　　视频生成模型在结构合理性提升明显。相比于 CogVideoX-2B（左图），IPOC-2B 生成的视频（右图）中，人物和猛犸象具有更好结构合理性。

　　视频生成模型在动态程度和美学度都有明显提升，相比于 CogVideoX-2B（左图），IPOC-2B 生成的视频（右图）中，人物动作更加流畅，人物和背景更好美观。

　　那白色的浪涛将他淹没，崖壁上能看到一个凸起的白色水浪点，因为水势太猛与太大了，非一般的人力所能抗衡。

　　二是开展“民主说事会”。从解决群众最关心、最直接、最现实的问题入手，积极开展以群众说事、集体议事、干部办事、代表评事为内容，以村务公开民主说事日为载体的“民主说事会”活动，变单纯的“村务公开日”为参政议事相结合的“民主说事日”，整理收集群众的意见建议，监督村务公开的内容和程序，解决村民反映的问题，“说”出社情民意，“说”消群众怨气，“说”少农村矛盾，“说”拢干群关系，为村两委班子制定发展计划、理清工作思路奠定群众基础。

　　05月06日,2024年北京市IPv6规模部署和应用宣传推广主题日活动成功举办中国海警局新闻发言人就菲律宾3002号船故意冲撞中国海警舰艇发表谈话,

　　大家好！我们今天组织召全体毕业备考誓师大会，就是要求在座的全体同学要重新确立目标，拿出新的学习精神，鼓起我们的勇气，力争考出好成绩。

　　二、抓住关键，突出重点，切实加强乡镇、村两级班子建设 事业兴衰，关键在人。领导班子和领导干部是推动跨越发展的中坚和骨干。要继续保持我乡(镇)当前的良好发展势头，推

　　05月06日,四川康定受“8·03”山洪泥石流灾害影响的1.3万余辆大中型货车顺利过境,

　　他看不容，整个人如同一个紫色的太阳一般，那里光华极盛，将他整个人都淹没当中。

　　山地中传来一声古怪的声响，令人寒毛倒竖，感觉到了一股冰寒的杀意，像是秋风扫过。

　　时事4：千亿在线日,长白山发现大片东北红豆杉 多株树龄超千年,铁箭不断坠落，箭头全部折断，密密麻麻，眨眼在地上积了一堆，金属光泽冷冽，很是惊人。,M6网站是多少,188betapp链接,永利澳门5396。

　　“子陵，别的要求都可以，唯独不能伤毅儿。”石渊走出，步履沉稳，浑身赤光澎湃，威势惊人，如江海起伏。他是一位绝顶强者，不要说在族中，就是在整座皇都都负有盛名。

　　新闻信息服务许可证音像制品出版许可证广播电视节目制作经营许可证网络视听许可证网络文化经营许可证山东省互联网传媒集团主办联系电话 违法不良信息举报电话