编组
控制台用户中心

孟子 GPT 大语言模型

核心技术简介

孟子 GPT 大模型是基于团队自研技术研发的大规模语言模型,经历预训练,SFT 和对齐等步骤。可处理多语言、多模态数据,同时支持多种文本理解和文本生成任务,能快速满足不同领域、不同应用场景的需求。孟子模型基于 Transformer 架构,拥有十亿、百亿到千亿参数量,基于数十万亿字符的数据训练而成,包括海量的互联网网页、社区、新闻、图书、电子商务网站、金融网站以及其他来源的高质量语料训练而成。孟子是国内著名的大模型品牌,多次在中文大模型基准评测,例如 C-EVAL、SUPERCLUE 等取得优胜成绩。孟子大模型已于 2023 年底通过网信办生成式人工智能备案,并已正式面向公众开放服务。

除了 GPT 架构,澜舟也开发了基于 BERT、T5 等架构的模型,适用于信息抽取和机器翻译等技术中。

solution.title

孟子 GPT 大语言模型

核心技术简介

孟子 GPT 大模型是基于团队自研技术研发的大规模语言模型,经历预训练,SFT 和对齐等步骤。可处理多语言、多模态数据,同时支持多种文本理解和文本生成任务,能快速满足不同领域、不同应用场景的需求。孟子模型基于 Transformer 架构,拥有十亿、百亿到千亿参数量,基于数十万亿字符的数据训练而成,包括海量的互联网网页、社区、新闻、图书、电子商务网站、金融网站以及其他来源的高质量语料训练而成。孟子是国内著名的大模型品牌,多次在中文大模型基准评测,例如 C-EVAL、SUPERCLUE 等取得优胜成绩。孟子大模型已于 2023 年底通过网信办生成式人工智能备案,并已正式面向公众开放服务。

除了 GPT 架构,澜舟也开发了基于 BERT、T5 等架构的模型,适用于信息抽取和机器翻译等技术中。

技术方案

mengzi-advantage

支持多种模型架构

  • 自回归模型:如 GPT
  • 自编码模型:如 BERT
  • Encoder-Decoder 模型:T5
mengzi-advantage

轻量模型性能强化

  • 多预训练任务融合
  • SMART 对抗训练
  • 知识蒸馏
mengzi-advantage

基于知识图谱增强

  • 基于实体抽取的增强
  • 知识图谱增强(isa 关系)
  • 知识图谱转文字
mengzi-advantage

基于语言学知识增强

  • 成分句法融合增强的 Mask 机制
  • 语义角色 Embedding 融合增强
  • 依存关系的注意力权重约束剪枝
mengzi-advantage

小样本/零样本学习

  • Prompts 模板构造
  • 多任务学习技术
  • 覆盖常见信息抽取场景,开箱即用
mengzi-advantage

基于检索增强

  • 知识解耦
  • 可解释性强
  • 外部知识组件实时更新

技术优势

advantage

在金融知识图谱搭建、研报脱水、公告抽取等多个任务上获得了超过常规模型的表现

advantage

支持 BERT、GPT、T5 等架构,能够覆盖文本理解、文本生成等不同场景

line2line2line1centerline4
advantage

支持图文双模态输入,能够更好地处理图文相关任务

advantage

支持对垂直领域进行快速定向优化,支持从 10M 到 1B 不同规模

C-Eval 排行榜

*排名截止2023年8月

#01234
模型名称MengziChatGLM2InternLM-123BGPT-4*AiLMe-100B v2
发布机构澜舟科技Tsinghua & Zhipi.AIShanghai AI Lab & Sense TimeOpenAIAPUS
提交时间2023/8/252023/6/252023/8/222023/5/152023/7/25
平均71.571.168.868.767.7
平均(Hard)48.8505054.955.3
STEM62.364.463.567.165.4
社科文学87.281.681.477.672.3
人文科学76.873.772.764.571.2
其他68.671.36367.864
#模型名称发布机构提交时间平均平均(Hard)STEM社科文学人文科学其他
0Mengzi澜舟科技2023/8/2571.548.862.387.276.868.6
1ChatGLM2Tsinghua & Zhipi.AI2023/6/2571.15064.481.673.771.3
2InternLM-123BShanghai AI Lab & Sense Time2023/8/2268.85063.581.472.763
3GPT-4*OpenAI2023/5/1568.754.967.177.664.567.8
4AiLMe-100B v2APUS2023/7/2567.755.365.472.371.264

CLUE 排行榜

*排名截至2021年7月30日

排名123
模型孟子MotianBETRTSG人类水平
规模十亿十亿百亿
总分82.9082.1581.8086.68
AFQMC79.8278.3079.8581.00
TNEWS64.6857.4257.4271.00
IFLYTEK65.0865.4664.5480.30
OCNLI81.8784.9785.9390.30
WSC202096.5594.8395.1798.00
CSL89.8790.1789.0084.00
CMRC201882.2585.3083.8092.40
CHID96.0094.4393.0687.10
C389.9888.4987.4496.00
排名模型规模总分AFQMCTNEWSIFLYTEKOCNLIWSC2020CSLCMRC2018CHIDC3
1孟子十亿82.9079.8264.6865.0881.8796.5589.8782.2596.0089.98
2Motian十亿82.1578.3057.4265.4684.9794.8390.1785.3094.4388.49
3BETRTSG百亿81.8079.8557.4264.5485.9395.1789.0083.8093.0687.44
人类水平86.6881.0071.0080.3090.3098.0084.0092.4087.1096.00

落地场景

scene

公告抽取

模型可以从大量的文本中提取出公告信息,方便快速获取重要信息。
scene

小说生成

模型可以根据用户提供的信息,自动生成小说内容。
scene

情感分类

模型可以对文本进行情感分析,区分出文本中的正面、负面或中性情感。
scene

研报分类

模型可以对研究报告进行分类,按照不同的主题进行归类。
scene

新闻摘要

模型可以自动生成新闻摘要,快速提供新闻要点信息。
scene

知识图谱搭建

模型可以根据已有的知识,构建知识图谱,方便快速查询。
scene

问答系统

模型可以通过语义分析,提供问题的答案。
scene

图文互检

模型可以对文本和图片进行匹配,检查是否相符。

应用案例

https://cdn.langboat.com/portal/page.technology.mengzi.case1.title

同花顺

澜舟科技携手同花顺,聚焦认知智能领域,共同突破和创新 NLP 技术,升级金融科技领域产品和服务,为客户带来更好的用户体验。

体验澜舟孟子 GPT 大模型

产品服务

商务合作邮箱

bd@langboat.com

ewm

公司地址

北京市海淀区北四环西路(街)52 号方正国际大厦 16 层 1603


gongan京公网安备 11010802035393号京ICP备 2021021087号

经营许可证编号:合字 B2-20220333

合作:

bd@langboat.com

地址:

北京市海淀区北四环西路(街)52 号方正国际大厦 16 层 1603

公众号:

ewm

support
business