始智AI wisemodel.cn开源社区
始智AI wisemodel.cn社区是源自中国的中立开放的AI开源社区。正在，欢迎加入共同成长。wisemodel社区上线，H800/H20等资源上线，价格实惠，灵活方便，支持在线微调训练模型，及和，并。
当前的文生图主流模型以英文输入为主，中文原生的文生图模型研发则相对比较缓慢，这导致了模型对中文语义的理解能力不足，中文特色图片生成能力有限。
中国联通元景文生图模型做了技术创新突破：在架构上，通过在SDXL架构中融合复合语言编码模块，实现了对中文长文本、多属性对应和中文特色词汇的精确语义理解，对应图像的生成效果得到了极大提升。
在昇腾AI大规模算力集群上实现了中文原生文生图模型的训练和推理，并将模型和代码对业界开源，以推动文生图领域的国产化进程。
目前，元景文生图模型已在联通内外部多个项目中成功应用，成为助力企业降本增效、智能化升级的重要一环。UniT2IXL模型和代码已上线始智AI-wisemodel开源社区，欢迎大家前去体验。
模型和代码地址
https://wisemodel.cn/models/UnicomAI/UniT2IXL
https://wisemodel.cn/codes/UnicomLLM/UniT2IXL
01.
架构创新
引入复合语言编码模块，支持中文长文输入
原始SDXL的语言编码器仅使用了英文CLIP模型，导致其一方面仅支持英文文本作为输入，另一方面在输入长度上也存在严重限制(最长77个token)。
对此，元景文生图模型一方面将英文CLIP模型替换成中文CLIP，使得模型对中文短文本输入具有更好的理解能力；同时，引入复合语言编码架构，将基于encoder-decoder架构的语言模型引入了语言编码器部分，这使得模型能支持超过CLIP长度限制的长文本，实现更准确的中文语义理解和判断。
元景中文文生图架构
02.
中文原生模型
支持中文原生语义理解和中文特色图像生成
通过引入复合语言编码模块，元景文生图模型实现了原生中文语义理解，避免了传统的利用翻译插件等作为中介调用英文文生图模型的方法所带来的中文信息损失。
同时，通过引入海量中文图文对数据进行预训练，模型对中文专属名词，如鼠标-老鼠、仙鹤-吊车等英文模型易混淆的对象，以及中文菜谱等英文模型无法理解的名词，都能够准确理解并生成对应的高质量图片。
1
2
提示词：鼠标 提示词：老鼠
（在英文中均翻译成mouse，易混淆）
1
2
提示词：仙鹤 提示词：吊车
（在英文中均翻译成crane，易混淆）
1
2
提示词：佛跳墙 提示词：老婆饼
（中文特色词汇）
1
2
提示词1：一只身体毛发黑白相间的兔子正在草丛间啃胡萝卜
提示词2：在绿色的森林中，隐藏着一座白色的哥特式教堂，教堂的尖塔直指蓝色的天空，教堂周围是五彩斑斓的野花和浅黄色的草坪
03.
支持国产训推
中国联通在国产昇腾AI基础软硬件平台上实现了元景文生图模型从微调训练到推理的一体化适配。
在微调训练方面，用户可使用自定义数据集，实现从其它平台至昇腾的平滑切换；在模型推理方面，接口与Diffusers对齐，简单易用，支持单卡和多卡，单卡推理支持UNet Cache加速。
通过架构创新、中文原生语义支持、硬件适配等多项突破性成果，联通元景中文文生图模型为广大开发者提供了研发中文定制文生图模型和应用的全栈支持。
该模型已在联通的多个内外部项目中赋能文创、服装、工业设计等诸多领域，支撑了中华器灵、服装大模型等数十个行业标杆案例，在生成和设计领域为企业降本增效贡献重要力量，并在全球数字经济大会、“数据要素X”大赛、白塔杯等赛事中获奖。
联通元景文生图模型赋能服装设计
联通元景文生图模型赋能文物活化
04.
未来展望
中国联通积极布局战略性新兴产业和未来产业，落实“人工智能+”行动，依托算网基础设施与全国渠道覆盖优势，开展大模型基础和共性能力研发，构建元景“1+1+M”大模型体系。
在基础大模型方面，已布局语言、多模态、视觉、语音等多类模型，形成一套自主可控、模态丰富、性能先进、性价比高、安全可信的元景基础模型，集约化赋能千行百业模型和应用打造，助力实体经济高质量发展。
未来，中国联通将在生成式人工智能技术上不断创新，升级模型能力，深化与国产算力的合作，为企业提供更多、更好、更智能的信息服务，持续推动国内人工智能和AIGC的国产化、智能化发展。
编辑丨赵雅鑫
----- END -----
wisemodel相关：
系统升级：
系列模型：
关于wisemodel更多
1
欢迎持续关注和支持
开源社区建设需要长期坚持和投入，更需要广大用户的积极参与、贡献和维护，欢迎大家加入wisemodel开源社区的志愿者计划和开源共创计划。期待更多开发者将开源成果，包括模型、数据集和代码等发布到 wisemodel.cn 社区，共建中立、开放的AI开源社区生态。欢迎扫码添加wisemodel微信，申请加入wisemodel社群，持续关注wisemodel.cn开源社区动态。
2
欢迎加盟wisemodel开源社区
始智AI wisemodel社区自2023年9月上线以来，逐渐成为影响力日益扩大的中立开放的AI开源社区，为了加快公司发展，我们长期需要技术、运营等人才加盟，技术侧重在AI infra、后端开发，熟悉K8S、模型训练和推理等技术， 以及熟悉开发者生态运营的成员，欢迎感兴趣的朋友加盟，可以通过添加wisemodel微信，或者将简历投递到邮箱：liudaoquan@wisemodel.cn
3
欢迎投稿优质内容
欢迎投稿分享人工智能领域相关的优秀研究成果，鼓励高校实验室、大企业研究团队、个人等，在wisemodel平台上分享各类优质内容，可以是AI领域最新论文解读、最新开源成果介绍，也可以是关于AI技术实践、应用和总结等。投稿可以发邮件到liudaoquan@wisemodel.cn，也可以扫码添加wisemodel微信。
4
关于wisemodel开源社区
始智AI wisemodel.cn开源社区由清华校友总会AI大数据专委会副秘书长刘道全创立，旨在打造和建设中立开放的AI开源创新社区，将打造成“HuggingFace”之外最活跃的AI开源社区，汇聚主要AI开源模型、数据集和代码等，欢迎高校科研院所、大型互联网公司、创新创业企业、广大个人开发者，以及政府部门、学会协会、联盟、基金会等，还有投资机构、科技媒体等，共同参与建设AI开源创新生态。
向上滑动查看
热门跟贴