网站建设技能考试试题,中国手表网站,y-m-d WordPress 首页,公司培训网站建设这是网上一张很流行的说明几个 Normalization 区别的图 这图出自Kaiming的文章 Group Norm
但是他这个 Layer Norm 的图是不是画错了? 我大四写毕设的时候就想问#x1f923;#x1f923;#x1f923; 这都几年过去了
我觉得图应该是这样画的#xff0c;相同颜色的区域…这是网上一张很流行的说明几个 Normalization 区别的图 这图出自Kaiming的文章 Group Norm
但是他这个 Layer Norm 的图是不是画错了? 我大四写毕设的时候就想问 这都几年过去了
我觉得图应该是这样画的相同颜色的区域做标准化 仨方块代表Batch_size 3 每个方块内前后向代表channel维度左右代表宽上下代表高
也就是同Batch, xy位置相同的特征像素不同的channel里做标准化
接下来代码验证一下只需要在 Channel 维度做一下标准化
import torch
import torch.nn as nn# torch.manual_seed(1107)
torch.manual_seed(1942)# 假设x的形状是(B, W, H, C)
x torch.rand(32, 256, 256, 128) # 添加一个维度以匹配四维输入m nn.LayerNorm(128, elementwise_affineFalse)
m.eval() # 设置为评估模式y m(x)# 手动计算LayerNorm
x_mean x.mean(dim-1, keepdimTrue)
x_var x.var(dim-1, keepdimTrue, unbiasedFalse)
eps m.epsy_manual (x - x_mean) / ((x_var eps).sqrt())print(结果是否一致, torch.allclose(y, y_manual, atol1e-6))大佬们路过教我一下
