编组
产品服务

澜舟认知智能平台

澜舟认知智能平台是以 NLP 为核心的行业知识服务云平台,提供知识图谱、机器翻译、辅助写作、情感分析、智能检索、智能客服、文档解析等一系列服务和能力,可高效地接入搜索、生成、翻译、对话等业务场景。

AIGC(智能创作)平台
文学辅助写作
文档核心技术
解决方案

行业解决方案

深入金融、营销、文化创意行业,聚焦行业内的核心场景提供解决方案,助力企业智能化升级。

金融


孟子社区关于我们
控制台用户中心

孟子预训练模型

核心技术简介

孟子预训练模型是基于团队自研技术研发的大规模预训练语言模型。可处理多语言、多模态数据,同时支持多种文本理解和文本生成任务,能快速满足不同领域、不同应用场景的需求。孟子模型基于 Transformer 架构,仅包含十亿参数量,基于数百 G 级别涵盖互联网网页、社区、新闻、电子商务、金融等领域的高质量语料训练。

solution.title

孟子预训练模型

核心技术简介

孟子预训练模型是基于团队自研技术研发的大规模预训练语言模型。可处理多语言、多模态数据,同时支持多种文本理解和文本生成任务,能快速满足不同领域、不同应用场景的需求。孟子模型基于 Transformer 架构,仅包含十亿参数量,基于数百 G 级别涵盖互联网网页、社区、新闻、电子商务、金融等领域的高质量语料训练。

技术方案

page.technology.mengzi.solution.1.title

支持多种模型架构

自回归模型:如 GPT
自编码模型:如 BERT
Encoder-Decoder 模型:T5
page.technology.mengzi.solution.2.title

轻量模型性能强化

多预训练任务融合
SMART 对抗训练
知识蒸馏
page.technology.mengzi.solution.3.title

基于知识图谱增强

基于实体抽取的增强
知识图谱增强(isa 关系)
知识图谱转文字
page.technology.mengzi.solution.4.title

基于语言学知识增强

成分句法融合增强的 Mask 机制
语义角色 Embedding 融合增强
依存关系的注意力权重约束剪枝
page.technology.mengzi.solution.5.title

小样本/零样本学习

Prompts 模板构造
多任务学习技术
覆盖常见信息抽取场景,开箱即用
page.technology.mengzi.solution.6.title

基于检索增强

知识解耦
可解释性强
外部知识组件实时更新

技术优势

advantage

在金融知识图谱搭建、研报脱水、公告抽取等多个任务上获得了超过常规模型的表现

advantage

支持 BERT、GPT、T5 等架构,能够覆盖文本理解、文本生成等不同场景

line2line2line1centerline4
advantage

支持图文双模态输入,能够更好地处理图文相关任务

advantage

支持对垂直领域进行快速定向优化,支持从 10M 到 1B 不同规模

CLUE 排行榜

*排名截至2021年7月30日

排名123
模型孟子MotianBETRTSG人类水平
规模十亿十亿百亿
总分82.9082.1581.8086.68
AFQMC79.8278.3079.8581.00
TNEWS64.6857.4257.4271.00
IFLYTEK65.0865.4664.5480.30
OCNLI81.8784.9785.9390.30
WSC202096.5594.8395.1798.00
CSL89.8790.1789.0084.00
CMRC201882.2585.3083.8092.40
CHID96.0094.4393.0687.10
C389.9888.4987.4496.00
排名模型规模总分AFQMCTNEWSIFLYTEKOCNLIWSC2020CSLCMRC2018CHIDC3
1孟子十亿82.9079.8264.6865.0881.8796.5589.8782.2596.0089.98
2Motian十亿82.1578.3057.4265.4684.9794.8390.1785.3094.4388.49
3BETRTSG百亿81.8079.8557.4264.5485.9395.1789.0083.8093.0687.44
人类水平86.6881.0071.0080.3090.3098.0084.0092.4087.1096.00

落地场景

scenescene

公告抽取

模型可以从大量的文本中提取出公告信息,方便快速获取重要信息。
scenescene

小说生成

模型可以根据用户提供的信息,自动生成小说内容。
scenescene

情感分类

模型可以对文本进行情感分析,区分出文本中的正面、负面或中性情感。
scenescene

研报分类

模型可以对研究报告进行分类,按照不同的主题进行归类。
scenescene

新闻摘要

模型可以自动生成新闻摘要,快速提供新闻要点信息。
scenescene

知识图谱搭建

模型可以根据已有的知识,构建知识图谱,方便快速查询。
scenescene

问答系统

模型可以通过语义分析,提供问题的答案。
scenescene

图文互检

模型可以对文本和图片进行匹配,检查是否相符。

应用案例

https://cdn.langboat.com/portal/page.technology.mengzi.case1.title

同花顺

澜舟科技携手同花顺,聚焦认知智能领域,共同突破和创新 NLP 技术,升级金融科技领域产品和服务,为客户带来更好的用户体验。

体验澜舟孟子预训练模型能力

产品服务

AIGC(智能创作)平台机器翻译平台孟子大模型金融 NLP 平台

商务合作邮箱

bd@langboat.com

ewm

gongan京公网安备 11010802035393号京ICP备 2021021087号

经营许可证编号:合字 B2-20220333


ewm

澜舟公众号

support
business