• torch.nn.Embedding


    PyTorch快速入门教程七(RNN做自然语言处理) - pytorch中文网
    原文出处: https://ptorch.com/news/11.html

    在pytorch里面实现word embedding是通过一个函数来实现的:nn.Embedding

    # -*- coding: utf-8 -*-
    import numpy as np
    import torch
    import torch.nn as nn
    import torch.nn.functional as F
    from torch.autograd import Variable
    
    word_to_ix = {'hello': 0, 'world': 1}
    embeds = nn.Embedding(2, 5)
    hello_idx = torch.LongTensor([word_to_ix['hello']])
    hello_idx = Variable(hello_idx)
    hello_embed = embeds(hello_idx)
    print(hello_embed)
    

     这就是我们输出的hello这个词的word embedding,代码会输出如下内容,接下来我们解析一下代码:

    Variable containing:
     0.4606  0.6847 -1.9592  0.9434  0.2316
    [torch.FloatTensor of size 1x5]
    

    首先我们需要word_to_ix = {'hello': 0, 'world': 1},每个单词我们需要用一个数字去表示他,这样我们需要hello的时候,就用0来表示它。

    接着就是word embedding的定义nn.Embedding(2, 5),这里的2表示有2个词,5表示5维度,其实也就是一个2x5的矩阵,所以如果你有1000个词,每个词希望是100维,你就可以这样建立一个word embeddingnn.Embedding(1000, 100)。如何访问每一个词的词向量是下面两行的代码,注意这里的词向量的建立只是初始的词向量,并没有经过任何修改优化,我们需要建立神经网络通过learning的办法修改word embedding里面的参数使得word embedding每一个词向量能够表示每一个不同的词。

    hello_idx = torch.LongTensor([word_to_ix['hello']])
    hello_idx = Variable(hello_idx)
    

    接着这两行代码表示得到一个Variable,它的值是hello这个词的index,也就是0。这里要特别注意一下我们需要Variable,因为我们需要访问nn.Embedding里面定义的元素,并且word embeding算是神经网络里面的参数,所以我们需要定义Variable

    hello_embed = embeds(hello_idx)这一行表示得到word embedding里面关于hello这个词的初始词向量,最后我们就可以print出来。

  • 相关阅读:
    Python 字符串操作
    Python 字典操作
    16 飞机大战:思路整理、重要代码
    15 飞机大战:pygame入门、python基础串连
    14 windows下安装pygame模块
    13 制作模块压缩包、安装模块
    12 包及导包
    11 模块、模块的搜索顺序、__file__内置属性、__name__属性
    异常集
    10 异常
  • 原文地址:https://www.cnblogs.com/lindaxin/p/7991436.html
Copyright © 2020-2023  润新知