• 深度学习模型训练过程


    机器学习中的两大类参数:

    超参数:在模型训练之前需要设置的参数,而不是通过训练得到的参数数据。比如:学习率,深层神经网络隐藏层数。

    模型参数:模型要学习的参数,比如:权重W和偏置b,其是在网络训练过程中自动学习和更新。

    前向算法:从网络输入到网络最终输出的过程称为前向算法。

    反向传播算法(BP):模型参数学习的方法,由Hinton等人提出。用来解决网络优化问题,通过调节输出层的结果和真实值之间的偏差来进行逐层调节参数。该学习过程是一个不断迭代的过程。

    损失函数(LOSS):神经网络模型参数学习的目标函数。常见损失函数由交叉熵损失函数

     

    无论是图级、边级、节点级任务,都可以在一个GNN模型中完成。

    图级任务是预测整个图的属性;跟据图结构来分类,问题是我所对图的分类是强加的标签,但是会使他们有相同结构,能够区分开来,是没问题的。

      类比于图像:预测图像的标签;类比于文本:预测一个句子的情绪。

    节点级任务是预测图中每个节点的身份及角色。

      类比于图像:图像分割,试图标记图像中每个像素的作用;类比文本,预测句子中每个单词的词类(如名词、动词、副词等)。

    边级任务:用于图像场景理解,预测哪些节点共享一条边,边的值;希望发现实体之间的连接:假设全连接图,通过预测值来修剪边得到稀疏图。

    使用图邻接矩阵来表示图的问题:

    1.节点很大的图得到的是稀疏的邻接矩阵。

    2.不能保证置换不变性,当节点的排列顺序改变时,图的邻接矩阵也改变,但他们却表示同一张图。

    因此可以使用邻接表来表示:

    不会记录不连通的边;节点、边可以是向量,用[n(nodes),n(nodesdim)]来表示图。

    GNN

    既然图的描述是置换不变的矩阵格式,我们将使用图神经网络(GNNs)来描述解决图预测任务。GNN是对保持图对称性(置换不变性)的图的所有属性(节点、边、全局上下文)的可优化变换。我们将使用Gilmer等人提出的消息传递神经网络框架,使用Battaglia等人介绍的图网架构原理图,构建gnn。gnn采用图进图出架构,这意味着这些模型类型接受一个图作为输入,将信息加载到它的节点、边和全局上下文中,并在不改变输入图的连通性的情况下逐步转换这些嵌入。

  • 相关阅读:
    一个很实用的css3兼容工具很多属性可以兼容到IE6
    html5 canvas 填充渐变形状
    找到任何形状的中心-总结篇
    html canvas非正方旋转和缩放...写的大多是正方的有人表示一直看正方的看厌了
    把jQuery的类、插件封装成seajs的模块的方法
    那些年实用但被我忘掉javascript属性.onresize
    总有一些实用javascript的元素被人遗忘在角落-slice
    jquery(入门篇)无缝滚动
    html5 canvas旋转+缩放
    今天看到这篇新闻之后,决定休息一下咯
  • 原文地址:https://www.cnblogs.com/zh-clara/p/15352464.html
Copyright © 2020-2023  润新知