计算图
computational graph
表示方法
计算图是用来描述运算的有向无环图
计算图有两个主要元素：结点（node）和边（edge）
结点表示数据，如向量，矩阵，张量
边表示运算，如加减乘除卷积等
计算图不仅使计算显得简洁，更重要的是其表示梯度求导更为方便
用计算图表示y=(x+w)*(w+1)： 令 a=x+w b=w+1 则y=a*b
梯度求导结合题例的算式和计算图表示
从上述的计算图表示中，可以看到，除了x，w外的梯度都是可以用x，w或其xw梯度表示
叶子结点
叶子结点：用户创建的结点称为叶子结点，如x，w
torch.tensor.is_leaf：用来查看是否为叶子结点
叶子结点的用处：在反向传播之后，只有叶子结点的梯度会被保留，其他中间结点的梯度数据会被释放，以节省内存
若要保存某特定结点的梯度，可以在运行反向传播函数前，补上一句tensor.retain_grad()，此次反向传播后，该tensor的梯度会被保留
梯度方向
torch.tensor.grad_fn：记录创建该张量时所用的方法（函数）及梯度方向
作用：以便计算机知道求导某张量结点的梯度需用到的特定法则
AddBackward代表a张量为相加形成，此时的梯度在反向传播中
动态图
dynamic graph
动态图与静态图
根据计算图的搭建方式，可以将计算图分为动态图和静态图。
- 动态图采用搭建和运算同时进行：灵活、易调节（debug）
- 静态图为先搭建，后运算：高效但不灵活
pytorch采用动态图机制，tensorflow采用静态图机制
如下左图，tensorflow的搭建机制为先确立好所有的路线流向，再将tensor数据注入跑通整个过程。这也是tensorflow的名字由来
而下右图，pytorch中随着代码的数据定义与构建，同时也确立部分的计算图模块。
