网站推广与seo的区别,江苏省建设局报考网站,濮阳做网站推广的公司,wordpress做微博目录
torch.nn子模块Sparse Layers详解
nn.Embedding
用途
主要参数
注意事项
使用示例
从预训练权重创建嵌入
nn.EmbeddingBag
功能和用途
主要参数
使用示例
从预训练权重创建
总结 torch.nn子模块Sparse Layers详解
nn.Embedding
torch.nn.Embedding 是 PyTo…目录
torch.nn子模块Sparse Layers详解
nn.Embedding
用途
主要参数
注意事项
使用示例
从预训练权重创建嵌入
nn.EmbeddingBag
功能和用途
主要参数
使用示例
从预训练权重创建
总结 torch.nn子模块Sparse Layers详解
nn.Embedding
torch.nn.Embedding 是 PyTorch 中一个重要的模块用于创建一个简单的查找表它存储固定字典和大小的嵌入(embeddings)。这个模块通常用于存储单词嵌入并使用索引检索它们。接下来我将详细解释 Embedding 模块的用途、用法、特点以及如何使用它。
用途
单词嵌入在自然语言处理中Embedding 模块用于将单词或其他类型的标记映射到一个高维空间其中相似的单词在嵌入空间中彼此靠近。特征表示在非自然语言处理任务中嵌入可以用于任何类型的分类特征的密集表示。
主要参数
num_embeddingsint嵌入字典的大小。embedding_dimint每个嵌入向量的大小。padding_idxint可选如果指定padding_idx 处的嵌入不会在训练中更新。max_normfloat可选如果指定将重新归一化超过此范数的嵌入向量。norm_typefloat可选用于max_norm选项的p-范数的p值默认为2。scale_grad_by_freqbool可选如果为True将按单词在批次中的频率的倒数来缩放梯度。sparsebool可选如果为True权重矩阵的梯度将是一个稀疏张量。
注意事项
当使用max_norm参数时Embedding的前向方法会就地修改权重张量。如果需要对Embedding.weight进行梯度计算则在调用前向方法前需要在max_norm不为None时克隆它。仅有少数优化器支持稀疏梯度。
使用示例
import torch
import torch.nn as nn# 创建一个包含10个大小为3的嵌入的Embedding模块
embedding nn.Embedding(10, 3)# 一个包含4个索引的2个样本的批次
input torch.LongTensor([[1, 2, 4, 5], [4, 3, 2, 9]])# 通过Embedding模块获取嵌入
output embedding(input)此示例创建了一个嵌入字典大小为10、每个嵌入维度为3的 Embedding 模块。然后它接受一个包含索引的输入张量并返回对应的嵌入向量。
从预训练权重创建嵌入
还可以使用from_pretrained类方法从预先训练的权重创建Embedding实例
# 预训练的权重
weight torch.FloatTensor([[1, 2.3, 3], [4, 5.1, 6.3]])# 从预训练权重创建Embedding
embedding nn.Embedding.from_pretrained(weight)# 获取索引1的嵌入
input torch.LongTensor([1])
output embedding(input)在这个示例中Embedding 模块是从一个给定的预训练权重张量创建的。这种方法在迁移学习或使用预先训练好的嵌入时非常有用。
nn.EmbeddingBag
torch.nn.EmbeddingBag 是 PyTorch 中一个高效的模块用于计算“bags”即序列或集合的嵌入的总和或平均值而无需实例化中间的嵌入。这个模块特别适用于处理具有不同长度的序列如在自然语言处理任务中处理不同长度的句子或文档。下面我将详细介绍 EmbeddingBag 的功能、用法以及特点。
功能和用途
高效计算EmbeddingBag 直接计算整个包的总和或平均值比逐个嵌入后再求和或取平均更加高效。支持不同聚合方式可以选择 sum, mean 或 max 模式来聚合每个包中的嵌入。支持加权聚合EmbeddingBag 还支持为每个样本指定权重在 sum 模式下进行加权求和。
主要参数
num_embeddingsint嵌入字典的大小。embedding_dimint每个嵌入向量的大小。max_normfloat可选如果给定将重新规范化超过此范数的嵌入向量。modestr可选聚合模式可以是 sum、mean 或 max。sparsebool可选如果为True权重矩阵的梯度将是一个稀疏张量。padding_idxint可选如果指定padding_idx 处的嵌入将不会在训练中更新。
使用示例
import torch
import torch.nn as nn# 创建一个包含10个大小为3的嵌入的EmbeddingBag模块
embedding_bag nn.EmbeddingBag(10, 3, modemean)# 一个示例包含4个索引的输入
input torch.tensor([1, 2, 4, 5, 4, 3, 2, 9], dtypetorch.long)# 指定每个包的开始索引
offsets torch.tensor([0, 4], dtypetorch.long)# 通过EmbeddingBag模块获取嵌入
output embedding_bag(input, offsets)在这个示例中创建了一个嵌入字典大小为10、每个嵌入维度为3的 EmbeddingBag 模块并设置为 mean 模式。输入是一个索引序列offsets 指定了每个包的开始位置。EmbeddingBag 会计算每个包的平均嵌入向量。
从预训练权重创建
EmbeddingBag 也可以从预训练的权重创建
# 预训练的权重
weight torch.FloatTensor([[1, 2.3, 3], [4, 5.1, 6.3]])# 从预训练权重创建EmbeddingBag
embedding_bag nn.EmbeddingBag.from_pretrained(weight)# 获取索引1的嵌入
input torch.LongTensor([[1, 0]])
output embedding_bag(input)这种方法在需要使用预先训练好的嵌入或在迁移学习中非常有用。EmbeddingBag 通过高效地处理不同长度的序列数据在自然语言处理等领域中发挥着重要作用。
总结 本篇博客探讨了 PyTorch 中的 nn.Embedding 和 nn.EmbeddingBag 两个关键模块它们是处理和表示离散数据特征的强大工具。nn.Embedding 提供了一种有效的方式来将单词或其他类型的标记映射到高维空间中而 nn.EmbeddingBag 以其独特的方式处理变长序列通过聚合嵌入来提高计算效率。这两个模块不仅在自然语言处理中发挥关键作用也适用于其他需要稠密特征表示的任务。此外这些模块支持从预训练权重初始化使其在迁移学习和复杂模型训练中极为重要。综上所述nn.Embedding 和 nn.EmbeddingBag 是理解和应用 PyTorch 中嵌入层的基础。
