开源社区

手机就能“跑”!腾讯混元“小”模型发布

手机就能“跑”!腾讯混元“小”模型发布

  • 发布:
  • 人气: 12
  • 评论: 0
标签:

应用介绍

  8月7日,记者从腾讯获悉,混元已于日前正式开源四款小尺寸模型,参数分别为0.5B、1.8B、4B、7B,消费级显卡即可运行,适用于笔记本电脑、手机、智能座舱、智能家居等低功耗场景,且支持垂直领域低成本微调。

  据了解,这四款模型的推出,是腾讯混元大模型持续开源的一大举措,可为开发者和企业提供更多尺寸的模型选择。目前,四个模型均在Github和HuggingFace等开源社区上线,Arm、高通、Intel、联发科技等多个消费级终端芯片平台也都宣布支持部署。

  新开源的4个模型属于融合推理模型,具备推理速度快、性价比高的特点,用户可根据使用场景灵活选择模型思考模式——快思考模式提供简洁、高效的输出;而慢思考涉及解决复杂问题,具备更全面的推理步骤。

  值得一提的是,这四个“小”模型的亮点在于agent和长文能力,在实际应用中可以轻松胜任深度搜索、excel操作、旅行攻略规划等任务。

  此外,模型原生长上下文窗口达到了256k,意味着模型可以一次性记住并处理相当于40万中文汉字或50万英文单词的超长内容,相当于一口气读完3本《哈利波特》小说,并且能记住所有人物关系、剧情细节,还能根据这些内容讨论后续故事发展。

  应用层面,四款小尺寸模型都能够满足从端侧到云端、从通用到专业的多样化需求,并且已经在腾讯多个业务中应用。

相关应用