新浪微博今日发布了其首个开源大模型VibeThinker-1.5B,该模型仅有15亿(1.5B)参数,却展现出了惊人的性能,号称“小模型也可以有大智慧”。
在业界,最强大的模型参数量通常超过1T(万亿),甚至出现了2T规模的模型。然而,VibeThinker-1.5B证明了小模型同样可以具备高智商,做最强大模型不再主要依赖推高参数量,也可以通过巧妙的算法设计来实现。
经过微博AI研发人员提出的创新“频谱到信号原理”(SSP)方法训练后,VibeThinker在AIME24、AIME25以及HMMT25三个高难度数学测试集上的表现,超越了参数量超其400倍的模型DeepSeek-R1-0120版本(模型大小671B),与规模为456B的MiniMax-M1效果接近或相当。同时,在LiveCodeBench v6(编程算法题测试集)中的成绩,也成功追平了参数量数倍于其的模型,如Minstral.AI的深度思考模型Magistral-Medium-2506版本。
VibeThinker的能力强大并非依靠堆砌参数,而是源于微博研发人员提出的SSP训练理念。该理念在学习阶段先鼓励模型发散探索所有可能的解题路径,而非一味关注正确率;随后,通过强化学习进行高效策略优化,精准锁定正确路径,从而将模型性能提升至极致。
此外,VibeThinker-1.5B的单次“后训练”(Post-Training)成本不足8000美元,相比DeepSeek-R1和MiniMax-M1的后训练成本(分别为29万及53万美元)降低了几十倍。
VibeThinker-1.5B的开源旨在为全球计算资源有限的中型企业及高校研究团队提供一条高性价比的研发新路径,使得人人都可以训练最前沿的大模型。该模型已在Github、HuggingFace、Arxiv、ModelScope等平台开源发布。 |