怎么知道网站是哪个公司做的,网站如何排版,网站做的不好,网页游戏排行2020前十名目录 思考 一、代码功能分析 1. 构建 shortcut 分支#xff08;残差连接的旁路#xff09; 2. 主路径的第一层卷积#xff08;11#xff09; 4. 主路径的第三层卷积#xff08;11#xff09; 5. 残差连接 激活函数 二、问题分析总结#xff1a;残差结构中通道数不一致的… 目录 思考 一、代码功能分析 1. 构建 shortcut 分支残差连接的旁路 2. 主路径的第一层卷积1×1 4. 主路径的第三层卷积1×1 5. 残差连接 激活函数 二、问题分析总结残差结构中通道数不一致的风险 1.深度学习框架中的张量加法规则 2.为何代码可能未报错的原因分析 3.代码中的潜在风险与不足 改进建议 显式检查通道维度 自动调整 shortcut 的通道数 统一残差结构接口增强模块的通用性和健壮性 本文为365天深度学习训练营 中的学习记录博客 原作者K同学啊 你需要解决的疑问这个代码是否有错对错与否都请给出你的思考 打卡要求请查找相关资料、逐步推理模型、详细写下你的思考过程
# 定义残差单元
def block(x, filters, strides1, groups32, conv_shortcutTrue): if conv_shortcut: shortcut Conv2D(filters * 2, kernel_size(1, 1), stridesstrides, paddingsame, use_biasFalse)(x) # epsilon为BN公式中防止分母为零的值 shortcut BatchNormalization(epsilon1.001e-5)(shortcut) else: # identity_shortcut shortcut x # 三层卷积层 x Conv2D(filtersfilters, kernel_size(1, 1), strides1, paddingsame, use_biasFalse)(x) x BatchNormalization(epsilon1.001e-5)(x) x ReLU()(x) # 计算每组的通道数 g_channels int(filters / groups) # 进行分组卷积 x grouped_convolution_block(x, strides, groups, g_channels) x Conv2D(filtersfilters * 2, kernel_size(1, 1), strides1, paddingsame, use_biasFalse)(x) x BatchNormalization(epsilon1.001e-5)(x) x Add()([x, shortcut]) x ReLU()(x) return x思考
一、代码功能分析
1. 构建 shortcut 分支残差连接的旁路 目的shortcut 分支处理路径 如果 conv_shortcut True表示输入的维度通道或空间与主路径输出不一致因此需要用 1x1 卷积调整它。 若为 False说明维度匹配直接将输入作为 shortcut。 1×1卷积调整维度、实现下采样若 strides2 BatchNorm标准化有助于加速训练与收敛。 作用为残差连接做准备。 2. 主路径的第一层卷积1×1 目的降维减少通道数从输入通道数 C_in → filters 保持空间尺寸不变设置 stride1 作用减少参数数量提高计算效率为分组卷积做准备。 3. 分组卷积3×3 groups将输入通道划分为多个小组每组独立卷积。 g_channels每组处理的通道数。 grouped_convolution_block 负责执行分组卷积。 作用提升网络的表达力降低计算量是 ResNeXt 的关键创新。 4. 主路径的第三层卷积1×1 将通道数从 filters → filters * 2以与 shortcut 的输出通道对齐。 保持空间尺寸不变。
作用恢复原通道数为后续残差连接准备。 5. 残差连接 激活函数 Add()将主路径输出与 shortcut 相加实现残差学习。 ReLU()激活输出非线性映射。
作用引入残差连接缓解深层网络退化提高训练效率与性能。 二、问题分析总结残差结构中通道数不一致的风险
在所提供的残差单元 block 函数中存在一个潜在的问题点即当 conv_shortcutFalse 时shortcut 分支直接使用输入张量 x而没有经过任何通道数调整操作。与此同时主路径经过卷积操作之后其输出通道数被显式设定为 filters * 2。这样在执行 Add() 操作时如果输入张量 x 的通道数并不等于 filters * 2就会出现形状不匹配的错误。 1.深度学习框架中的张量加法规则
以 TensorFlow/Keras 框架为例在执行张量加法时要求输入张量的 shape 必须完全一致包括 batch、height、width 和 channels 四个维度。尽管在某些操作中支持 broadcasting广播机制但通道维度是不能自动广播的。因此如果主路径输出和 shortcut 的通道维度不一致Add() 操作会直接报错通常为 InvalidArgumentError。
2.为何代码可能未报错的原因分析
尽管代码存在上述逻辑风险但在某些特定条件下运行时并不会出错可能原因包括 测试阶段未触发问题分支 代码运行过程中conv_shortcut 参数始终为 True因此始终使用了 1×1 卷积来调整 shortcut 的通道数没有触发错误分支。 输入张量的通道数刚好等于目标通道数 如果传入的张量 x 的通道数恰好等于 filters * 2即使没有卷积调整两个分支的通道数也能对齐因此不会出错。 grouped_convolution_block 可能改变了主路径输出通道数 主路径中的分组卷积函数 grouped_convolution_block 未给出定义。如果它在内部改变了特征图的通道数可能导致主路径输出与 shortcut 在某些情况下恰好匹配也可能在某些输入下失配。
3.代码中的潜在风险与不足
当前的 block 函数存在以下几点风险 对通道数匹配的依赖是隐式的未做任何断言或自动调整 conv_shortcutFalse 的分支缺乏鲁棒性容易在模型设计中因输入不符而触发错误 没有对 filters 与 groups 之间的关系进行合法性检查如 filters 不可被 groups 整除时分组卷积将出错。 if not conv_shortcut:shortcut Conv2D(filters * 2, kernel_size1, stridesstrides, paddingsame, use_biasFalse)(x)shortcut BatchNormalization(epsilon1.001e-5)(shortcut)
改进建议 显式检查通道维度 在 conv_shortcutFalse 的分支中添加通道数一致性断言 if not conv_shortcut:assert x.shape[-1] filters * 2, Shortcut and main path channel mismatch. 自动调整 shortcut 的通道数 即使 conv_shortcutFalse也建议通过 1×1 卷积层使 shortcut 与主路径对齐 if not conv_shortcut:shortcut Conv2D(filters * 2, kernel_size1, stridesstrides, paddingsame, use_biasFalse)(x)shortcut BatchNormalization(epsilon1.001e-5)(shortcut)统一残差结构接口增强模块的通用性和健壮性 建议将 shortcut 的处理逻辑统一封装避免依赖外部输入的特殊情况。
