AI Studio
百度AI Studio是针对AI学习者的在线一体化开发实训平台,它包含了包括AI教程,代码环境,算法算力,数据集等很多内容。
-
项目。项目大厅有很多他人的项目可以供自己学习参考,这就是共享项目。同时也可以自己创建项目,添加数据集,运行开发环境,他的算法框架包括了paddlepaddle和sklearn等。我在项目大厅fork了一个关于paddle的项目,如图
-
数据集。数据集包括一些经典的公开数据集,像MNIST,IMDB,CIFAR10,Penn Treebank,MovieLens 等;也包括一些开放的百度数据。用户也可以上传自定义数据进行模型开发。
-
比赛。比赛这个模块可以说是一些工程师最喜欢的了,因为它不仅可以提高自己的水平,而且有奖金可以拿。Studio赛制清晰,社区完善还提供平台训练,能够更加公平的进行竞赛。
-
课程。关于课程,PaddlePaddle关于机器学习的教程应该是中文里最好的教程之一,不仅有机器学习、深度学习的视频公开课和教程文档,而且包含了大量的各个方向的深度学习实例,比如图像分类,词向量,个性化推荐,情感分析,语义角色标注以及机器翻译等,不仅从原理层面进行深入浅出的讲解,更提供模型代码逐行进行实操。能够有效的帮助人们学习更多的知识。
Python
-
fork python语法
-
python语法总结xinz
-
标识符。在Python里,标识符由字母、数字、下划线组成。所有标识符可以包括英文、数字以及下划线(_),但不能以数字开头,区分大小写的。以下划线开头的标识符是有特殊意义的。以单下划线开头 _foo 的代表不能直接访问的类属性,需通过类提供的接口进行访问,不能用 from xxx import * 而导入。以双下划线开头的 __foo 代表类的私有成员,以双下划线开头和结尾的 foo 代表 Python 里特殊方法专用的标识,如 init() 代表类的构造函数。Python 可以同一行显示多条语句,方法是用分号。
-
输出。print输出是默认换行的,如果要实现不换行需要在变量末尾加上逗号。
-
注释。python中单行注释采用#开头。多行注释使用三个单引号(''')或三个双引号(""")。
-
引号。Python可以使用引号(')、双引号(")、三引号 '''或""") 来表示字符串,引号的开始与结束必须是相同类型的。其中三引号可以由多行组成,编写多行文本的快捷语法,常用于文档字符串,在文件的特定地点,被当做注释。
-
行和缩进。学习 Python 与其他语言最大的区别就是,Python 的代码块不使用大括号{}来控制类,函数以及其他逻辑判断。python 最具特色的就是用缩进来写模块。缩进的空白数量是可变的,但是所有代码块语句必须包含相同的缩进空白数量,这个必须严格执行。
Jupyter notebook
-
简介。Jupyter notebook是一种Web应用,能让用户将说明文本、数学方程、代码和可视化内容全部组合到一个易于共享的文档中。
-
极其适合数据分析。Jupyter Notebook可以将所有内容收归一处,使人们顿觉灵台清明,思路更加清晰了呢、
-
支持多语言。包括R语言,或者是想用学术界常用的MATLAB和Mathematica,这些都不成问题。分享便捷,支持以网页的形式分享,GitHub中天然支持Notebook展示,也可以通过nbviewer分享你的文档。当然也支持导出成HTML、Markdown、PDF等多种格式的文档。
-
远程运行。在任何地点都可以通过网络链接远程服务器来实现运算。
-
交互式展现。不仅可以输出图片、视频、数学公式,甚至可以呈现一些互动的可视化内容,比如可以缩放的地图或者是可以旋转的三维模型。
Linux基本命令
这里列出部分详细见xinz
-
pwd:显示当前路径
cd :切换目录
用法:cd
cd ../ 切换到上级目录
cd / 切换到根目录
cd ~ (或只有cd )切换到当前用户主目录(home底下以用户名命名的文件夹) /root目录
mkdir 创建目录
mkdir 目录名 -p 递归创建目录 -
rmdir 删除空目录
用法:rmdir 目录名
也可用:rm -rf 目录名 -
ls 查看目录或文件信息
主要选项:
-l 列出目录或者文件的详细信息。比如权限、修改时间等等
-a 列出当前目录下所有文件,包括隐藏文件(已点开头的都是隐藏文件) -
vi 文本编辑器
键入i 进入编辑状态
退出编辑按ESC键
不保存退出: :q!
保存退出: :wq
输入/,进入搜索
输入:set nu,显示每一行的行数
按键盘G,可以直接定位到最末尾 -
cp 复制
用法:cp [选项]文件名或目录 目标地址
-R 拷贝目录及目录下所有目录和文件
cp a.txt b.txt 将a文件复制,且另命名为b文件(目录名) -
mv 移动
用法:mv 文件名或目录 目标目录
mv a.txt ../ 将a文件移动到上级目录(将一个文件移动到另一个目录没有重命名)
mv a.txt ../b.txt 将a文件移动到上一级并改名为b文件(将一个文件移动到另一个目录并重命名) -
rm 删除文件或目录
-f 强制删除
-r 删除目录
常用:rm -rf 文件或目录 -
find 查找文件
用法:find [路径] [选项]
常用选项有:
find . -name *.log 在当前目录查找以.log结尾的文件
find / -name log 在根目录查找log命名的目录
Fork有关网民情绪的项目
经过运行理解,大致明白了创建一个项目的具体步骤,大致为以下几步在安装更新paddlepaddle之后
- 将数据整理成特定格式
- 定义Dataset数据类
- 加载模型
- 构建reader数据读取接口
- 确定finetune训练策略
- 配置finetune参数
- 确定任务,开始finetune(训练)
- 预测