单页面应用的网站,信用网站系统建设方案,睢宁县凌城做网站的,公司网站开发需要什么证书肺癌数据集DICOM #xff1a;https://wiki.cancerimagingarchive.net/display/Public/LIDC-IDRI 首先用SimpleITK把mhd图片读入#xff0c;对每个切片使用Gaussian filter然后使用阈值-600把肺部图片二值化#xff0c;然后再分析该切片的面积#xff0c;去掉面积小于30mm2的…肺癌数据集DICOM https://wiki.cancerimagingarchive.net/display/Public/LIDC-IDRI 首先用SimpleITK把mhd图片读入对每个切片使用Gaussian filter然后使用阈值-600把肺部图片二值化然后再分析该切片的面积去掉面积小于30mm2的区域和离心率大于0.99的区域找到3D的连通区域。
只保留0.68L到8.2L体积的区域并且如果大于6000 mm2的区域到切片的中心区域的距离大于62mm也删除该连通区。最后只留下一个最大的连通区域。
左边是原始图右边是切完肺的。 在实际中预处理中我们可视化了每个肺的部分切片存在一些bad case。主要有以下3种我们也对这3种情况做了优化
把肺边缘结节切掉。因为阈值导致的把二值化环境-600改成-150有改善。切出来全部为黑的(未找到任何肺部区域)。有些ct图是从头部开始扫描的导致影响了连通区域判断需要手动查看该mhd文件看里面的从第个切片到第几个切片是肺部在做完二值化操作后人为把前面和后面的切片全部设置为0。切出来只有一侧肺部情况。
有些患者两个肺的大小差别比较大需要调整阈值放宽阈值标注把大于6000 mm2的区域到切片的中心区域的距离大于62mm也删除该连通区改为大于1500 mm2的区域到切片的中心区域的距离大于92mm也删除该连通区。并且在最后一步不只保留最大的连通区同时保留最大的两个连通区。
2.模型网络结构
我们的网络如图所示整体上是采用UnetResnet的思想。里面每个Resnet Block都是由多个卷积层和bn层和relu层组成的。我们只展示主体结构整体深度大概150多层 3.整体优化思路
3.1 数据优化
肺部切割优化这块其实没有完美的方法能把所有的肺一次性都切好。具体的思路我们已经在第章数据预处理部分写出来了我们会先切一遍然后将切肺中切的不好的再调参数重新切一次。10mm 以下结节的训练数据增强。我们在没做数据增强的情况下跑出来的模型在验证集上漏掉了不少10mm以下的结节所以对这部分的结节做了增强。
3.2 工业界优化思路模型架构 模型网络
我们的优化思路非常的工业界用更多的计算资源和更复杂的模型架构并不把大量的时间用在调模型网络上面。
3.3 层次化Hard Mining
业界两套网络的做法比较普遍比如用Unet切割或Faster RCNN检测用3D CNN分类如下图所示。 我们用的是如下统一的一套模型架构即3D Faster RCNN的RPN网络没有后续的全连接做分类也并没有
再在后面接一套3D CNN来做降假阳。能减少需要调节的网络参数。 该hard mining的过程其实就是用上一层的模型作为下一层的输入每一层的训练数据都选取比上一层更难分的。 这套架构无需2套网络只需要选择一套较深的网络。
根据我们的经验采取层次化模型训练第二层模型froc能比第一层效果提升0.05第三层能比第二层提升0.02。
3.4 LOSS 函数的设计
在计算loss函数的时候我们做了2点优化。
1.在使用hard mining的时候每个batchsize里面负例的个数会明显多于正例。为了防止算loss的时候被负例主导。我们将loss函数分成个部分负例的loss正例的loss和边框的loss。 2.在上一节提到的层次化hard mining我们在最后一层训练模型的时候会修改loss函数的计算对于分错的负例和正例做加权。这个思路和focal loss是很像的。 比如
红框里面的部分本来是负例却以很大的概率被分成正例这部分在算loss的时候权值就大些。红框外面的部分权值就小些。 4本次比赛的关键点总结
1) 解决了基于Intel extended Caffe的150多层深度网络的 3D Faster RCNN RPN网络收敛问题。
可以从个方向来解决线下Phi卡平台均已验证过。
a将 drop out设置为 0.1。缺点是会容易过拟合。
b先训练一个crop size为32的模型
用这个模型做pre train model训练crop size 64的模型
依次类推。
直到完成crop size为128的模型训练
由于时间关系我们并未比较这种思路的效果。比赛中使用的是第个思路收敛的更快些。
2) 提出层次化Hard Mining的训练框架。并没有采用常见的unet做分割3D CNN降假阳 或者 2d faster rcnn做检测3D CNN降假阳的思路。我们只用了一套网络。减少了需要调节的网络参数。
3) 重新设计了loss函数防止负例主导loss的计算 并且在降低loss的过程中更聚焦于分错的训练样本。
5. 经验总结
我们团队虽然过往深度学习架构经验多但对医学影像处理的know how属于尚在探索之中。所以我们的优化思路是用更多的计算资源和更复杂的模型架构来弥补没有专用模型网络积累的短板。在第一轮比赛时通过调用比较充足的计算资源时效果比较显著但在第二轮限定计算资源的多CPU的框架上比较受限于计算资源及时间。
在计算资源比较充沛的情况下选取比较深的Resnet效果会明显。在资源受限的实际场合或者现实的生产环境我们有两点启发
学会认同重复造轮子的基础性工作。第一轮比赛我们是pytorch框架第二轮按要求在caffe上实现特别是在Intel Extended Caffe对3D支持有限重写了不少很基础的模块这种貌似重复造轮子的工作对我们提出了更高的要求但也锻炼了我们深入到框架底层的能力从而对不同框架的性能特点有更深的认识这种重写甚至还因此帮我们找到我们第一版pytorch代码里detect部分存在的一个bug。根据资源灵活优化训练策略乃至模型。我们的3D Faster RCNN 初期在Extended Caffe 上过于耗时但因为在计算资源充足环境下我们的做法比较有效所以没有去考虑一些更快的检测算法比如SSD、YOLO等这点也算是路径依赖的教训了。
代码开源说明
我们在GitHub (https://github.com/YiYuanIntelligent/3DFasterRCNN_LungNoduleDetector ) 开源了核心代码特别是将我们基于Intel Extended Caffe的3D Faster RCNN RPN训练模块发布到社区相信这也是业内首个Intel extended Caffe版的150层网络3D Faster RCNN开源希望对Intel 的深度学习社区用户有帮助。
该代码对医学影像的处理也展示了有效性相信对医学影像领域AI实践的发展对技术如何造福大众能起到一些帮助。
通过开源希望有同行提出性能优化、功能扩充等的修改建议互相促进。
