你说我画，你画我说：全球较大中文跨模态生成模型文心ERNIE-ViLG来了！

基于缩放向量量化新技术，博爱 ERNIE-ViLG 把缩放透露转成对数的数列，从而将注释和缩放展开并存的数列自复归生转成动态。在注释生转成缩放时, 博爱 ERNIE-ViLG 框架的读写是注释 token 数列，输出是缩放 token 数列；缩放生转成注释时则根据读写的缩放数列计算注释内容。两个朝著的生转成执行使用同一个 Transformer 框架。视觉缺点和句法两个形式句法在相近框架给定下展开相近模式的生转成，必须促进框架建起不够好的区域性形式句法语法可视。

博爱 ERNIE-ViLG 图文并茂双向生转成并存动态框架

已有基于缩放对数透露的注释生转成缩放框架主要换用两下一阶段特训，注释生转成视觉缺点数列和根据视觉缺点数列复建缩放两个下一阶段独立特训，博爱 ERNIE-ViLG 提出了故又称到故又称的特训作法，将数列生转成过程中会 Transformer 框架输出的隐层缩放透露连接到复建框架中会展开缩放还原，为复建框架透过语法不够丰富的形态；对于生转成框架，可以同时接收自身的抽象监督接收机和来自复建框架的完整监督接收机，有助于不够好地研读缩放透露。

博爱 ERNIE-ViLG 相结合了构成 1.45 亿高精确度中会文翻译注释 - 缩放对的大规模区域性形式句法可视样本集，并基于搜索引擎飞桨深度研读平台在该样本集上特训了百亿给定框架，在注释生转成缩放、缩放描绘等区域性形式句法生转成执行上评估了该框架的缺点。

注释生转成缩放（Text-to-image Synthesis）执行缺点

博爱 ERNIE-ViLG 注释生转成缩放的灵活性在停止使用行业公开发表样本集 MS-COCO 上展开了验证。评估当前使用 FID(该当前个数越低缺点越好), 在 zero-shot 和 finetune 两种方式为下，博爱 ERNIE-ViLG 都得到了最佳转研读成绩，缺点相比之下 OpenAI 公布的 DALL-E 等框架。

博爱 ERNIE-ViLG 在 MS-COCO 样本集上的缺点

缩放描绘（Image Captioning）执行缺点

缩放生转成注释灵活性上，博爱 ERNIE-ViLG 在 COCO-CN、AIC-ICC 两个公开发表中会文翻译页面标题生转成样本集上, 都得到了毫无疑问转研读成绩。

博爱 ERNIE-ViLG 在 AIC-ICC 样本集上的缺点

生转成式视觉缺点题目（Generative VQA）执行缺点

在生转成式视觉缺点题目各个方面，博爱 ERNIE-ViLG 也演示了不俗的实力。生转成式视觉缺点题目拒绝框架根据缩放内容和对应的难题生转成答案，框架需要具有深度的视觉缺点内容思考灵活性和区域性形式句法的语法可视灵活性，并需要生转成简短的答案注释，难度极高。博爱 ERNIE-ViLG 在 FMIQA 样本集上得到了毫无疑问的缺点，图灵测试的通过率超越了 78.5%，远胜理论上毫无疑问作法 14 个百分点。

博爱 ERNIE-ViLG 在 FMIQA 样本集上的缺点

结语

让工具具有区域性形式句法生转成灵活性是AI的重要最终目标之一。在艺术写作、虚拟实境、缩放编辑、AI 工业设计、虚拟数字人等行业，博爱 ERNIE-ViLG 这类区域性形式句法大框架相比较广泛的广泛应用大环境，也为这些行业未来的转变透过了无限的创新和可能。作为搜索引擎 “博爱” 大框架一个大中会的重要一员，博爱 ERNIE-ViLG 也代表着搜索引擎博爱在区域性形式句法大框架行业迈出坚实步伐，从新技术全社会和加速产业广泛应用各个方面过后推动中会国 AI 转变。