360网站做二维码,学校网站模板 中文,icp备案网站接入信息怎么填,尚层装饰公司官网训练完#xff08;稀疏#xff09;自编码器#xff0c;我们还想把这自编码器学到的函数可视化出来#xff0c;好弄明白它到底学到了什么。我们以在1010图像#xff08;即n100#xff09;上训练自编码器为例。在该自编码器中#xff0c;每个隐藏单元i对如下关于输入的函数… 训练完稀疏自编码器我们还想把这自编码器学到的函数可视化出来好弄明白它到底学到了什么。我们以在10×10图像即n100上训练自编码器为例。在该自编码器中每个隐藏单元i对如下关于输入的函数进行计算 我们将要可视化的函数就是上面这个以2D图像为输入、并由隐藏单元i计算出来的函数。它是依赖于参数的暂时忽略偏置项bi。需要注意的是可看作输入的非线性特征。不过还有个问题什么样的输入图像可让得到最大程度的激励通俗一点说隐藏单元要找个什么样的特征。这里我们必须给加约束否则会得到平凡解。若假设输入有范数约束则可证请读者自行推导令隐藏单元得到最大激励的输入应由下面公式计算的像素给出共需计算100个像素j1,…,100 当我们用上式算出各像素的值、把它们组成一幅图像、并将图像呈现在我们面前之时隐藏单元所追寻特征的真正含义也渐渐明朗起来。 假如我们训练的自编码器有100个隐藏单元可视化结果就会包含100幅这样的图像——每个隐藏单元都对应一幅图像。审视这100幅图像我们可以试着体会这些隐藏单元学出来的整体效果是什么样的。 当我们对稀疏自编码器100个隐藏单元在10X10像素的输入上训练 进行上述可视化处理之后结果如下所示 上图的每个小方块都给出了一个带有有界范数 的输入图像它可使这100个隐藏单元中的某一个获得最大激励。我们可以看到不同的隐藏单元学会了在图像的不同位置和方向进行边缘检测。 显而易见这些特征对物体识别等计算机视觉任务是十分有用的。若将其用于其他输入域如音频该算法也可学到对这些输入域有用的表示或特征。 中英文对照 可视化 Visualizing自编码器 Autoencoder隐藏单元 hidden unit非线性特征 non-linear feature激励 activate平凡解 trivial answer范数约束 norm constrained稀疏自编码器 sparse autoencoder有界范数 norm bounded输入域 input domains
