3月18日，昆仑万维崇敬开源首款工业界多模态想维链推理模子Skywork R1V，即日起开源模子权重和时期诠释注解。
模子权重下载
情欲印象写真Hugging Face：
https://huggingface.co/Skywork/Skywork-R1V-38B
GitHub：
https://github.com/SkyworkAI/Skywork-R1V
妥贴时期诠释注解
https://github.com/SkyworkAI/Skywork-R1V/blob/main/Skywork_R1V.pdf
开启多模态想考新期间
继OpenAI o1和DeepSeek-R1在大众掀翻长想考模子激越后，大模子干涉新时期范式。昆仑万维秉抓结束 AGI 的初心，积极孝顺开源社区，崇敬开源Skywork R1V多模态视觉推理模子，成为中国第一个开源「多模态推理模子」的企业。
什么是视觉推理模子？
视觉推理模子是一类简略惩处需要想维链(Chain-of-Thought)的视觉任务的模子，通过对视觉信息进行多步逻辑推理与分析，逐渐推导出最终扫尾。这种模子不仅关心图像本体的识别与浮现，更强调通过层层递进的推理旅途，结束复杂视觉问题的精确求解，举例视觉逻辑推理、视觉数学问题、图像中的科学悠然分析、医学影像的会诊推理等，从而有用拓展了视觉大模子的应用界限。
不管是正常繁琐的责任任务、复杂的数据分析、难以解答的学术问题，已经前所未见的生疏场景，都不错交给Skywork R1V进行高效处理。
快速体验下来，R1V的视觉浮现和推理才能双双在线。这么的模子才能是怎么真金不怕火成的呢？
弘大推理才能，刷新跨模态任务新高度
在Reasoning推理才能方面，Skywork R1V结束了模子的顶尖逻辑推理与数学分析才能。在泰斗的MATH500和AIME基准测试中，Skywork R1V分袂赢得了94.0和72.0的高分，清爽早先于行业内无边主流模子。Skywork R1V在纯文本复杂推理任务中展现出超卓性能，使其在逻辑推理和数学问题求解领域展现出东谈主类大众级别的水准。
在Vision视觉浮现才能方面，Skywork R1V得胜地将其弘大的文本推理与想维链推导才能高效挪动到视觉任务中。凭借翻新的跨模态迁片时期与推理优化框架，Skywork R1V简略高效惩处需要多步视觉推理的问题，在MMMU与MathVista等视觉推理基准平分袂赢得了69和67.5的优异成绩。这些扫尾不仅清爽超越了多个雷同大小的开源竞争模子，更达到与限度更大的闭源模子比好意思的水准，充分证据了Skywork R1V在需要视觉想维链推理的跨模态任务中的早先上风。
Skywork R1V通过视觉与文本才能的深度会通和视觉想维链推理才能的冲突，鼓励了多模态推理模子的进一步发展，象征着东谈主工智能领域的又一紧要跳跃。
当今，Skywork R1V已全面开源，盼愿助力大众范围内更多视觉推理任务的学术决议与产业应用探索。
和开源同限度或更大限度模子的对比，Skywork R1V 38B体现出行业显耀优异的推理才能，以趁早先的多模态视觉浮现才能。如下图，与开源同限度或更大限度模子的对比：
与闭起源部模子性能对比，R1V 38B模子性能比好意思致使超越更打开源模子以及主流闭源模子。如下图，与开源大尺寸模子与闭源独有模子的对比：
三大中枢时期翻新，引颈视觉推理新冲突
Skywork R1V简略达到现时的性能高度，依赖于以下三项要道时期翻新：
1、文本推理才能的多模态高效挪动
昆仑万维团队初度提议诈欺Skywork-VL的视觉投影器，无需从头西宾谈话模子和视觉编码器，即可结束文本推理才能的高效挪动到视觉任务，同期保留了优秀的正本推理文本才能(AIME 72.0，MATH500 94.0)。
2、多模态搀杂式西宾(Iterative SFT+GRPO)
通过聚首迭代监督微调(Iterative SFT)和GRPO强化学习，分阶段对皆视觉-文本表征，结束跨模态任务的高效会通，极大莳植跨模态任务的发达。鼓励模子在MMMU基准达到69分的才能，同期在MathVista达到67.5分，与更大限度的闭源模子基本抓平。通过反复迭代地诈欺高质地数据与高难度数据的组合，结束模子抓续的常识寂静与诞妄校正，显耀莳植了多模态推理的精度与泛化性能。
图丨多模态搀杂式西宾(着手：Skywork R1V时期诠释注解)
3、自符合长度想维链蒸馏
团队提议了一种基于视觉-文本复杂度的自符合推理链长度铁心机制，动态优化模子推理过程，幸免模子“过度想考”，莳植推理遵循。聚首多阶段自蒸馏计谋，进一步莳植了数据生成与推理过程的质地，促进了模子在复杂多模态任务中的发达。
图丨自符合长度想维链蒸馏(着手：Skywork R1V时期诠释注解)
Skywork R1V在西宾过程中翻新性地继承了三阶段行为，使得文本端弘大的推理才能得以高效挪动至视觉任务上，具体西宾过程如下：
1、STEP1 视觉谈话表征的开动对皆
西宾时早先使用轻量级的视觉适配器(MLP)衔接视觉编码器(ViT)与谈话模子，在已有的200万条旧例多模态数据上进行西宾，使得MLP初步学习怎么将图像特征映射至谈话空间。这一阶段仅西宾MLP适配器，视觉编码器息兵话模子参数保抓冻结不变，快速、高效地结束视觉与谈话表征的初步对皆。
2、STEP2 推理才能挪动
诈欺第一阶段西宾好的MLP适配器，径直将视觉编码器与原始的强推理谈话模子(R1-distilled-Qwen-32B)衔接，酿成Skywork-R1V视觉推理模子。固然此时谈话模子的参数发生了更动，但收成于谈话模子架构的高度雷同性和MLP的泛化才能，从头拼装后的模子已能发达出一定的视觉推理才能，开动性能即达到业内同等限度的先进水平。
3、STEP3 视觉与文本模态精确对皆
终末，继承翻新的“搀杂优化框架”，进一步精确对皆视觉息兵话模态的表征。这一阶段分为两大门径：迭代监督微调(Iterative SFT)和群组相对计谋优化(GRPO)强化学习。在总共这个词西宾过程中，Skywork-R1V还翻新性地引入了“自符合长度想维链蒸馏时期”，动态优化推理链长度，珍爱模子过度想考，从而莳植了推理遵循和质地。
通过以上的西宾计谋，Skywork R1V在视觉推理任务上赢得冲突性进展，并在多个公开评测基准中达到或卓越了现存早先模子的性能。
此外，Skywork团队多模态浮现模子也在进行"全面浮现"的进化，将视觉多模态扩张为全模态模子，引入语音浮现才能。现时，全模态模子继续受限于特定领域不仅需要颓落西宾多个专科模子，更面对跨模态协同的算力挑战。
基于R1V模子，Skywork团队操办了一种生动在R1V中扩张语音浮现模态的样貌，从而结束一个全模态想考大模子，该在单个模子中同期结束图像、视频、语音的全模态浮现才能，并在语音和视觉浮现评测中斩获多项SOTA成绩。咱们将连续公布测评成绩、开源全模态想考大模子。
抓续开源回馈社区，执意迈向AGI
2023年10月以来，昆仑万维连续开源了百亿级大谈话模子「天工」Skywork-13B系列、数字智能体全过程研发器具包AgentStudio、4000亿参数MoE超等模子、2千亿疏淡大模子Skywork-MoE、推理模子Skywork-o1-Open等。2025年2月18日，昆仑万维同期将SOTA级别的SkyReels-V1和SkyReels-A1进行开源。
在谈话生成模子、AI Agent、推理模子、视频生成模子等接踵开源、多点着花之后，咱们崇敬开源Skywork R1V多模态推理模子，在文本-视觉多模态推理标的再下一城，成为中国第一家开源多模态想考模子的企业。
中国企业畴昔一年在AI领域的开源孝顺，让全全国AI从业者和配置者享受到了时期分享带来的普惠发展。DeepSeek的开源为AI行业提供了新的发展范本，多项开源效果显耀裁减了AI时期的应用门槛、促进大众AI时期的民主化。昆仑万维看成中国AI领军企业，咱们将抓续开源优秀的模子、数据集等，共建配置者生态、加快时期翻新、裁减应用门槛、鼓励时期平权和AI行业发展。