开源社区

百度最新开源一款轻量化模型 适用于学术科研等长文本推理场景

百度最新开源一款轻量化模型 适用于学术科研等长文本推理场景

  • 发布:
  • 人气: 6
  • 评论: 0
标签:

应用介绍

  正式开源最新的思考ERNIE-4.5-21B-A3B-Thinking。据悉,该模型不仅在逻辑推理、数学、科学,代码与文本生成等需要人类专家的任务上实现了显著提升,还具备高效的工具调用能力,能够支持复杂任务的自动化处理。

  据介绍,ERNIE-4.5-21B-A3B-Thinking采用了混合专家(MoE)架构,总参数规模达210亿,每个token激活 30 亿参数,通过指令微调及强化学习训练。ERNIE-4.5-21B-A3B-Thinking是在ERNIE-4.5-21B-A3B 基础上训练的深度思考模型,该模型支持128 的上下文窗口,适用于需要长上下文的复杂推理任务。

百度最新开源一款轻量化模型 适用于学术科研等长文本推理场景

  公开资料显示,今年6月30日,正式开源文心大模型4.5系列模型,涵盖47B、3B激活参数的混合专家(MoE)模型,与0.3B参数的稠密型模型等10款模型,并实现预训练权重和推理代码的完全开源。目前,文心开源系列模型已在行业中得到广泛应用。

  当日,还正式发布文心大模型X1.1深度思考模型,该模型在事实性、指令遵循、智能体等能力上均有大幅提升。目前,用户可以在文心一言官网、文小言APP使用文心大模型X1.1。文心大模型X1.1已正式上线百度智能云千帆平台,对企业客户及开发者全面开放使用。

相关应用