网站的配色技巧,wordpress法律主题,怎样做关于自己的网站,纯图片网站想象一下#xff0c;你是一名机器人或机器学习 (ML) 工程师#xff0c;负责开发一个模型来检测托盘#xff0c;以便叉车可以操纵它们。 你熟悉传统的深度学习流程#xff0c;已经整理了手动标注的数据集#xff0c;并且已经训练了成功的模型。 推荐#xff1a;用 NSDT设…想象一下你是一名机器人或机器学习 (ML) 工程师负责开发一个模型来检测托盘以便叉车可以操纵它们。 你熟悉传统的深度学习流程已经整理了手动标注的数据集并且已经训练了成功的模型。 推荐用 NSDT设计器 快速搭建可编程3D场景。 你已准备好迎接下一个挑战即大堆密集堆放的托盘。 你可能想知道应该从哪里开始 2D 边界框检测或实例分割对于此任务最有用吗 应该进行 3D 边界框检测吗如果是的话我将如何对其进行标注 是否最好使用单目相机、立体相机或激光雷达进行检测 考虑到自然仓库场景中出现的托盘数量巨大手动标注并不是一件容易的事。 如果我弄错了代价可能会很高。
这是我在遇到类似情况时所想的。 幸运的是我有一种简单的方法可以以相对较低的投入开始合成数据。
1、合成数据概述
合成数据生成 (SDGSynthetic Data Generation) 是一种使用渲染图像而不是真实图像生成数据来训练神经网络的技术。 使用综合渲染数据的优点是你隐式地知道场景中对象的完整形状和位置并且可以生成标注例如 2D 边界框、关键点、3D 边界框、分割蒙版等。
合成数据是引导深度学习项目的好方法因为它使你能够在进行大量手动数据标注工作之前或在数据有限、受限或根本不存在的情况下快速迭代想法。 对于这种情况你可能会发现具有域随机化的合成数据非常适合你的应用程序开箱即用的第一次尝试而且还可以节省时间。
或者你可能会发现需要重新定义任务或使用不同的传感器模式。 使用合成数据可以尝试这些决策而无需进行昂贵的标注工作。
在许多情况下你仍然可以从使用一些真实世界的数据中受益。 好的部分是通过尝试合成数据你将更加熟悉问题并且可以将标注工作投入到最重要的地方。 每个机器学习任务都有自己的挑战因此很难准确确定合成数据如何适应是否需要使用真实数据或者合成数据和真实数据的混合。
2、使用合成数据训练托盘分割模型
在考虑如何使用合成数据来训练托盘检测模型时我们的团队从小规模开始。 在我们考虑 3D 框检测或任何复杂的东西之前我们首先想看看是否可以使用用合成数据训练的模型来检测任何东西。 为此我们渲染了一个简单的场景数据集其中仅包含一个或两个托盘顶部有一个盒子。 我们使用这些数据来训练语义分割模型。
我们选择训练语义分割模型因为任务定义明确并且模型架构相对简单。 还可以直观地识别模型失败的位置错误分割的像素。
为了训练分割模型团队首先渲染粗略的合成场景图 1。
图 1. 两个托盘的粗略合成渲染顶部有一个盒子
团队怀疑仅这些渲染图像缺乏训练有意义的托盘检测模型的多样性。 我们还决定尝试使用生成式AI增强合成渲染以生成更真实的图像。在训练之前我们将生成式人工智能应用于这些图像以添加变化我们相信这将提高模型推广到现实世界的能力。
这是使用深度条件生成模型完成的该模型大致保留了渲染场景中对象的姿势。 请注意使用 SDG 时不需要使用生成式 AI。 你也可以尝试使用传统的域随机化例如改变托盘的合成纹理、颜色、位置和方向。 你可能会发现通过改变渲染纹理进行的传统域随机化对于应用程序来说已经足够了。 图 2. 使用生成式 AI 增强的合成渲染
在渲染大约 2,000 张合成图像后我们使用 PyTorch 训练了基于 resnet18 的 Unet 分割模型。 很快结果就在现实世界的图像上显示出了巨大的希望图 3。 图 3. 使用分割模型测试的真实托盘图像
该模型可以准确地分割托盘。 基于这一结果我们对工作流程更有信心但挑战还远未结束。 到目前为止该团队的方法没有区分托盘的实例也没有检测到未放置在地板上的托盘。 对于如图 4 所示的图像结果几乎无法使用。 这可能意味着我们需要调整我们的训练分布。 图 4. 语义分割模型无法检测堆叠的托盘
3、迭代增加数据多样性以提高准确性
为了提高分割模型的准确性团队添加了更多以不同随机配置堆叠的各种托盘的图像。 我们向数据集添加了大约 2,000 张图像使图像总数达到大约 4,000 张。 我们使用 USD Scene Construction Utilities 开源项目创建了堆叠托盘场景。
USD Scene Construction Utilities 用于在反映现实世界中可能看到的分布的配置中相对于彼此定位托盘。 我们使用了通用场景描述OpenUSDSimReady Assets它提供了多种托盘模型可供选择。
图 5. 使用 USD Python API 和 USD 场景构建实用程序创建结构化场景并使用 Omniverse Replicator 进一步随机化和渲染
通过使用堆叠托盘和更广泛的视角进行训练我们能够提高模型在这些情况下的准确性。
如果添加这些数据对模型有帮助那么为什么在不增加标注成本的情况下只生成 2,000 张图像呢 我们没有从很多图像开始因为我们是从相同的合成分布中采样的。 添加更多图像并不一定会给我们的数据集增加太多多样性。 相反我们可能只是添加许多相似的图像而没有提高模型在现实世界中的准确性。
从小规模开始团队能够快速训练模型查看失败的地方并调整 SDG 管道并添加更多数据。 例如在注意到模型对托盘的特定颜色和形状有偏见后我们添加了更多的合成数据来解决这些失败案例。 图 6. 各种颜色塑料托盘的渲染图
这些数据变化提高了模型处理遇到的故障场景塑料和彩色托盘的能力。
如果数据变化很好为什么不全力以赴并立即添加大量变化呢 在我们的团队开始测试真实数据之前很难判断可能需要什么差异。 我们可能错过了使模型良好运行所需的重要因素。 或者我们可能高估了其他因素的重要性不必要地耗尽了我们的努力。 通过迭代我们更好地了解了任务需要哪些数据。
4、托盘侧面中心检测
一旦我们在分割方面取得了一些有希望的结果下一步就是将任务从语义分割调整为更实用的任务。 我们决定下一个最简单的评估任务是检测托盘侧面的中心。 图 7. 托盘侧面中心检测任务的示例数据
托盘侧面中心点是叉车在操纵托盘时将自身居中的位置。 虽然在实践中可能需要更多信息来操纵托盘例如此时的距离和角度但我们认为这一点是此过程中的一个简单的下一步使团队能够评估我们的数据对于任何下游应用程序有多大用处 。
检测这些点可以通过热力图回归来完成与分割一样热力图回归是在图像域中完成的易于实现并且易于直观解释。 通过为此任务训练模型我们可以快速评估我们的合成数据集在训练模型以检测重要的操作关键点方面的有用性。
训练后的结果很有希望如图 8 所示。 图 8. 托盘侧面检测模型的真实检测结果
团队确认了使用合成数据检测托盘侧面的能力即使是紧密堆叠的托盘也是如此。 我们继续迭代数据、模型和训练管道以改进此任务的模型。
5、角点检测
当我们对侧面中心检测模型达到满意的程度时我们探索将任务提升到一个新的水平检测盒子的角点。 最初的方法是对每个角使用热力图类似于托盘侧面中心的方法。 图 9. 使用热力图的托盘角点检测模型
然而这种方法很快就带来了挑战。 由于检测对象的尺寸未知如果托盘的角不是直接可见的则模型很难精确推断托盘的角应该在哪里。 使用热力图如果峰值不一致则很难可靠地解析它们。
因此我们没有使用热力图而是选择在检测到面中心峰值后对角位置进行回归。 我们训练了一个模型来推断一个向量场该向量场包含角点相对于给定托盘面中心的偏移量。 这种方法很快就显示出了完成这项任务的希望即使有很大的遮挡我们也可以提供对角位置的有意义的估计。 图 10. 使用面中心热力图和基于矢量场的角点回归的托盘检测结果
现在团队拥有了一个有前途的工作流程我们迭代并扩展了这个流程以解决出现的不同失败案例。 总的来说我们的最终模型接受了大约 25,000 张渲染图像的训练。 我们的模型以相对较低的分辨率256 x 256 像素进行训练能够通过以更高分辨率运行推理来检测小托盘。 最终我们能够以相对较高的准确度检测到具有挑战性的场景如上面的场景。
这是我们可以使用的东西——所有这些都是用合成数据创建的。 这就是我们今天的托盘检测模型的立场。 图 11.最终托盘模型检测结果为了便于可视化仅显示检测的正面 图 12. 实时运行的托盘检测模型
6、用合成数据构建你自己的模型
通过使用合成数据进行迭代开发我们的团队开发了一种适用于真实图像的托盘检测模型。 通过更多的迭代可能会取得进一步的进展。 除此之外我们的任务可能会受益于添加真实世界的数据。 然而如果没有合成数据生成我们就无法快速迭代因为我们所做的每个更改都需要新的标注工作。
如果你有兴趣尝试此模型或者正在开发可以使用托盘检测模型的应用程序可以通过访问 GitHub 上的 SDG 托盘模型来找到模型和推理代码。 该存储库包括预训练的 ONNX 模型以及使用 TensorRT 优化模型并在图像上运行推理的说明。 该模型可以在 NVIDIA Jetson AGX Orin 上实时运行因此你将能够在边缘设备上运行它。
你还可以查看最近的开源项目 USD Scene Construction Utilities其中包含使用 USD Python API 构建 USD 场景的示例和实用程序。
我们希望我们的经验能够启发你探索如何使用合成数据来引导你的人工智能应用程序。 如果想开始生成合成数据NVIDIA 提供了一套工具来简化该过程。 这些包括
通用场景描述OpenUSDUSD被描述为metaverse的HTML是一个完整描述3D世界的框架。 USD 不仅包含 3D 对象网格等基元而且还具有描述材质、照明、相机、物理等的能力。NVIDIA Omniverse ReplicatorReplicator 是 NVIDIA Omniverse 平台的核心扩展使开发人员能够生成大量且多样化的合成训练数据以引导感知模型训练。 凭借易于使用的 API、域随机化和多传感器模拟等功能Replicator 可以解决数据缺乏的挑战并加速模型训练过程。SimReady 资产模拟就绪资产是物理上精确的 3D 对象包含精确的物理属性、行为和连接的数据流以代表模拟数字世界中的现实世界。 NVIDIA 提供了一系列真实资产和材质可开箱即用地用于构建 3D 场景。 这包括与仓库物流相关的各种资产例如托盘、手推车和纸板箱。 要在将 SimReady 资产添加到活动阶段之前搜索、显示、检查和配置它们你可以使用 SimReady Explorer 扩展。 每个 SimReady 资产都有自己的预定义语义标签可以更轻松地生成用于分割或对象检测模型的标注数据。
如果你对托盘模型、NVIDIA Omniverse 合成数据生成或 NVIDIA Jetson 推理有疑问请访问 GitHub 或访问 NVIDIA Omniverse 合成数据生成开发者论坛和 NVIDIA Jetson Orin Nano 开发者论坛。 原文链接基于合成数据的托盘检测 — BimAnt
