网站顶部悬浮导航代码,spark怎么做网站数据库,咨询网站搭建,虚拟主机网站建设步骤?今天看代码#xff0c;对比了常见的公式表达与代码的表达#xff0c;发觉torch.nn.Linear的数学表达与我想象的有点不同#xff0c;于是思索了一番。
众多周知#xff0c;torch.nn.Linear作为全连接层#xff0c;将下一层的每个结点与上一层的每一节点相连#xff0c;用…今天看代码对比了常见的公式表达与代码的表达发觉torch.nn.Linear的数学表达与我想象的有点不同于是思索了一番。
众多周知torch.nn.Linear作为全连接层将下一层的每个结点与上一层的每一节点相连用来将前边提取的特征综合起来。具体如下 则显然可以得到,其中
, ,,
上面的公式进行转置后得到
也就是将输入和输出向量都变成了行向量了。
在pytorch中 实际上这里的x就是行向量y也是行向量A的行数与y输出相关列数与x输入相关, b是一个行向量与输出维度有关。 这里可以看到m作为一个全连接层输入为20维输出为30维则可见A的规模为30x20(输出规模x输入规模)
input作为一个输入矩阵规模为128x20,这里可见一般在一个tensor中feature都是行优先
这样的话使用m作用到input上规模为128x20x(20x30)----128x30. 即为示例中结果。
注意下图A和b的维度。 以上的分析照应了torch.nn.functional.linear的表达。
