近日,微博发布首个自研开源大模型VibeThinker,这个仅拥有15亿参数的“轻量级选手”,在国际顶级数学竞赛基准测试上击败了参数量是其数百倍的模型。其单次“后训练”的成本仅7800美元。
微博AI研发人员优化模型结构和训练范式,提出了“频谱到信号原理”(SSP)方法训练,创造出一个仅拥有15亿参数的“轻量级选手”,在一系列涵盖数学、编码的权威基准测试中,VibeThinker取得优异成绩。这预示着,通过精巧的算法设计和训练策略,一个小规模模型就有潜力在复杂的逻辑推理任务上,达到甚至超越那些体量庞大数百倍的巨型模型,为AI产业的成本结构、技术路线和资本布局带来了全新的思考路径。
据了解,VibeThinker整个后训练过程(包括SFT和RL阶段)总共只花费了约3900个GPU小时。按当时的市场租赁价格,总计算成本仅7800美元。这种成本上的优势,意味着更多中小型公司、研究机构和大学,都有机会参与到前沿AI创新开发中来,促进了AI研究的普惠化。
微博积极拥抱人工智能发展趋势,促进AI技术在多项业务场景的落地。2024年,微博自主研发“知微”大语言模型,并构建了适配微博场景的AI应用生态,创造了微博智搜和评论罗伯特两大AI产品。
随着自研大模型VibeThinker取得突破,标志着微博AI战略迈入新阶段。公司计划深度融合其在心理等垂直领域积累的独特数据资产,目标是打造一个更洞悉公众情绪、更能服务社会化需求的专属模型。VibeThinker的强大技术能力,或将成为驱动微博AI应用“多点开花”的核心引擎,深度融入平台全业务生态。未来,VibeThinker有望在微博智搜等核心AI产品中落地,持续提升用户使用体验,同时有望打破场景边界,裂变出兼具社交属性与智能服务的下一个“社交超级生态”。此外,VibeThinker的技术突破有望大幅降低微博AI应用成本,让平台在规模化投入AI能力时无需承担过高的资源压力。
据了解,VibeThinker目前发布的版本尚处于实验性版本,其研发重点主要集中于强化小模型复杂数学与竞赛编程等方面的能力,其日常聊天等能力还没有做过针对性训练优化,它更适用于数学和代码等高智能应用场景。




