自然语言处理基础#

本部分包含了自然语言处理的基础知识。请理解自然语言处理的重要原理和模型，并熟悉自然语言处理Python库Hugging Face-transformers的使用。请特别关注以下重点内容：

• 常见预训练模型 (BERT, RoBERTa, GPT)
• Fine-tune 的方法

如果你从未接触过NLP#

我们推荐你参考以下教程：

• 中文视频课程：SIT 教授 Shusen Wang 的 NLP 课程
• 英文文档课程：Lena Voita’s NLP Tutorial
• (Optional) 英文视频课程：CMU’s Neural Networks for NLP（细节较多且需要一定基础，推荐给学有余力的同学）

Transformer和预训练模型相关资源#

• Attention Is All You Need 论文解析
• 图解 Transformer 和重要预训练模型
  • Transformer
  • BERT
  • GPT-2
• 预训练模型综述以及原版英文论文
• 预训练模型Pytorch 实现及Demo
• 预训练模型论文合集

Hugging Face 相关教程#

• 什么是 Hugging Face?

Hugging Face 为 NLP 从业者提供了一个基于 Python 的库 Transformers。Transformers 提供了能够使用诸多 Transformer 模型的 API，例如 BERT, RoBERTa, GPT-2 等等。这些模型能够在各类 NLP 下游任务中获得 SOTA（最前沿的）结果。

Hugging Face 新手入门#

• 中文文档：主要针对中国大陆用户的 Hugging Face 新手指南
• 英文官方文档：用 Pytorch 使用Hugging Face Transformers Library

Hugging Face-Transformers 主要功能的详解#

• Text Preprocessing (Tokenizer, Padding, Truncation)
• Training and Fine-tuning
• Hugging Face Transformers 官方 Demo Notebooks
• Hugging Face Transformers 官方文档