开源社区

腾讯混元发布并开源图像模型21支持原生2K生图

腾讯混元发布并开源图像模型21支持原生2K生图

  • 发布:
  • 人气: 6
  • 评论: 0
标签:

应用介绍

  9月9日深夜,腾讯发布并开源混元最新的生图模型“混元图像2.1(HunyuanImage2.1)”。该模型综合能力业界领先,支持原生2K高清生图。

  混元图像2.1模型在开源后,在HuggingFace模型热度榜热度迅速攀升,一跃而成全球第三热门模型。在该榜单前八名中,腾讯混元模型家族包揽三席。

  混元图像2.1在2.0架构的基础上全面升级,更加注重生成效果与性能之间的平衡。新版本不仅支持中英文的原生输入,还能够实现中英文文本与复杂语义的高质量生成。同时,在生成图片的整体美学表现和适用场景的多样性方面,都有了显著提升。

  这意味着,设计师、插画师等视觉创作者能够更加高效、便捷地将自己的创意转化为画面。无论是生成高保真的创意插画,还是 *** 包含中英文宣传语的海报和包装设计,亦或是复杂的四格漫画与连环画,混元图像2.1都能为创作者提供快速、高质量的支持。

  混元图像2.1是一款全面开源的基座模型,不仅具备业界领先的生成效果,还能够灵活适配社区多样化的衍生需求。目前,混元图像2.1的模型权重和代码已在HuggingFace、GitHub等开源社区正式发布,个人和企业开发者均可基于这一基础模型开展研究,或开发各类衍生模型与插件。

  得益于更大规模的图文对齐数据集,混元图像2.1在复杂语义理解和跨领域泛化能力上有了显著提升。它支持最长达1000个tokens的提示词,可精准生成场景细节、人物表情和动作,实现多物体的分别描述与控制。此外,混元图像2.1还能够对图像中的文字进行精细控制,使文字信息与画面自然融合。

  从SSAE(StructuredSemanticAlignmentEvaluation)的评估结果上看,腾讯混元图像模型2.1在语义对齐上目前达到了开源模型上更优的效果,并且非常接近闭源商业模型(GPT-Image)的效果。

  混元图像2.1模型不仅采用了海量训练数据,还利用结构化、不同长度、内容多样的caption,极大提升了对文本描述的理解能力。在caption模型中,引入了OCR和IPRAG专家模型,有效增强了对复杂文字识别和世界知识的响应能力。

  为大幅降低计算量、提升训练和推理效率,模型采用了32倍超高压缩倍率的VAE,并使用dinov2对齐和repaloss来降低训练难度。因此,模型能高效原生生成2K图。

  在文本编码方面,混元图像2.1配备了双文本编码器:一个MLLM模块用于进一步提升图文对齐能力,另一个ByT5模型则增强了文字生成表现力。整体架构为17B参数的单/双流DiT模型。

  此外,混元图像2.1还在17B参数量级的模型上解决了平均流模型(meanflow)的训练稳定性问题,将模型推理步数由100步蒸馏到8步,显著提升推理速度的同时保证了模型原有的效果。

  同步开源的混元文本改写模型(PromptEnhancer)是业内首个系统化、工业级的中英文改写模型,能够对用户的文本指令进行结构化优化,丰富视觉表达,使改写后的文本生成图像的语义表现得到大幅提升。

  腾讯混元在图像生成领域持续深耕,曾发布首个开源的中文原生DiT架构图像大模型——混元DiT,以及业界首个商用级实时生图模型——混元图像2.0。此次推出的原生2K模型混元图像2.1则在效果与性能之间实现了更好的平衡,能够满足用户和企业在多样化视觉场景下的多种需求。

  同时,腾讯混元坚定拥抱开源,陆续开放了多种尺寸语言模型,图像、视频、3D等完整多模态生成能力和工具集插件,提供接近商业模型性能的开源基座。图像、视频衍生模型数量总数达到3000个,混元3D系列模型社区下载量超过230万,已成为全球更受欢迎的3D开源模型。

  9月9日深夜,腾讯发布并开源混元最新的生图模型“混元图像2.1(HunyuanImage2.1)”

腾讯混元发布并开源图像模型21支持原生2K生图

相关应用