NLP之transformer|Task01 NLP学习准备工作

NLP实验准备工作

一、自然语言处理

1. NLP是什么？

自然语言处理（Natural Language Processing, NLP）是一种重要的人工智能（Artificial Intelligence, AI）技术。我们随处可以见到NLP技术的应用，比如网络搜索，广告，电子邮件，智能客服，机器翻译，智能新闻播报等等。

2. 分类

• 文本分类
• 序列标注
• 问答任务——抽取式问答和多选问答
• 生成任务——语言模型、机器翻译和摘要生成

3. 资料

• 自然语言与深度学习的课程推荐：CS224n: Natural Language Processing with Deep Learning
• 自然语言处理的书籍推荐：Speech and Language Processing
• HuggingFace/Transformers, 48.9k Star

二、使用virtualenv配置本地python运行环境

cmd以管理员权限打开本地的命令行窗口：

1. 确保已经安装python 和 pip

pip --version
python --version

2. 下载virtualenv

pip3 install virtualenv

3. 检查virtualenv是否下载好

virtualenv --version

如果没有生效：
'virtualenv' 不是内部或外部命令，也不是可运行的程序或批处理文件。
重启电脑，然后继续试，还不生效就卸载后重新安装。

4. 进入到想要放python环境的目录下，在Terminal中通过virtualenv软件安装python环境到venv文件夹下：

virtualenv -p python3 venv

5. 激活环境,进入到创建的环境下的Scriptsactivate即可激活

.venvScriptsactivate

6. 删除环境:进入到创建的环境的父目录下，然后删除整个文件夹venv即可

三、jupyter notebook的使用

1. 下载jupyter

pip3 install jupyter

2. 在anaconda prompt 中输入：

jupyter notebook

(这一步之前我已经安装过miniconda,其实如果有anaconda就自带了jupyter)

参考资料

[1]miniconda安装jupyter

[2]简述Python、Anaconda、virtualenv和Miniconda之间的区别