开源社区

腾讯一口气开源4款新模型最小仅05B

腾讯一口气开源4款新模型最小仅05B

  • 发布:
  • 人气: 8
  • 评论: 0
标签:

应用介绍

  最近,腾讯工程师培育出一批端侧AI「新物种」,突破「大即强」的旧规律,以「小体型+超强记忆+高智慧」的姿态闯入人们的视野。

  为更好地了解它们,我们启动了系统性的观测记录。经过多轮追踪与能力测试,我们记录下了这些「新物种」的特征——

  与传统大模型的「缩小版」不同,它们在小体型中保留了完整的智能生态。在语言理解、数学、推理等多个公开评测中,它们的表现也不逊于一些大参数模型,得分达到了领先水平。

  它们的栖息地十分广泛,消费级显卡即可运行,常见于各类端侧设备:手机、PC、平板、车载系统、智能家居等低功耗场景,都可能成为它们的活动场所。

  比如,在车载系统中,它们可以结合实时地图与语音交互,为驾驶员提供路线规划与信息查询服务;在智能家居中,能与家电联动,执行用户的语音指令。

  在不同的环境条件下,这批AI「新物种」都能保持稳定且高效的表现。它们能够依附在Arm、高通、Intel和联发科技等多种芯片平台上生存,并支持与SGLang、vLLM and TensorRT-LLM等主流推理框架无缝协作,并支持垂直领域低成本微调。

  部署同样灵活——单卡即可完成部署,部分PC、手机、平板设备可直接接入使用;同时支持多种量化格式,在低算力或内存受限的情况下也能保持流畅响应。

  快思考模式下,能够迅速反应,适合即时反馈类任务;慢思考模式下,则会进行多步骤的深度推理与缜密分析,擅长处理复杂推演与战略决策。部署完成后,可以根据自己的业务场景需要,自由切换。

  原生上下文窗口可达 256k Tokens,一次可消化约 40 万汉字或50万英文单词,相当于连续读完三本《哈利·波特》全卷,并准确保留故事脉络与人物关系。

  通过多维度高质量数据与强化学习奖励信号设计,这些AI「新物种」还具备任务规划、工具调用、复杂决策与反思等Agent能力,能够胜任深度信息检索、Excel自动化处理、旅行攻略设计等复杂任务。

  比如,在市场调研任务中,它们会先根据目标制定调研提纲,再调用数据分析工具生成可视化图表,并基于结果输出执行建议。

  目前,这些AI「新物种」已经在腾讯会议、微信读书、腾讯手机管家、腾讯智能座舱、搜狗输入法、金融AI助手等多个内部业务场景中落地应用。

  我们希望这批AI「新物种」的潜力,不只被我们看到,也能被更多人挖掘。为此,我们决定全面开源——

  即日起,四款新模型在 GitHub 和 Hugging Face 上同步开源,可自由下载部署,并结合自己的业务环境,探索它们的能力边界。

  当然,你也可以先到腾讯混元官方体验站,亲自试一试它们的实力,再决定是否将它们带回去「安家」。

相关应用