盘龙区网站建设外包,织梦小学网站模板,大型网页设计公司,wordpress自定义数据库在算力需求爆炸的大背景下#xff0c;如何发挥出已有硬件的最大算力变得非常重要#xff0c;直观一点是#xff1a;我们需要对现有算法针对特定的处理器进行极致的性能优化#xff0c;尽量满足目前AI算法对算力的高要求。为了能够做到极致的性能优化#xff0c;我们可能的… 在算力需求爆炸的大背景下如何发挥出已有硬件的最大算力变得非常重要直观一点是我们需要对现有算法针对特定的处理器进行极致的性能优化尽量满足目前AI算法对算力的高要求。为了能够做到极致的性能优化我们可能的方向有优化算法使得算法能够在满足准确度前提下访存和计算量尽量小优化程序使得实现这些算法的程序最大限度发挥处理器性能在优化程序的过程中首先要解决的问题是如何评估程序发挥了处理器几成的算力以及进一步优化空间和优化方向。为了更懂我们的处理器旷视MegEngine 团队开发了一个工具 MegPeak可以帮助开发人员进行性能评估开发指导等目前已经开源。GitHub项目地址https://github.com/MegEngine/MegPeak点击文末的阅读原文可了解更多MegPeak的使用方法、原理等MegPeak功能通过 MegPeak 用户可以测试目标处理器指令的峰值带宽指令延迟内存峰值带宽任意指令组合峰值带宽虽然上面的部分信息可以通过芯片的数据手册查询相关数据然后结合理论计算得到但是很多情况下无法获取目标处理器详尽的性能文档另外通过 MegPeak 进行测量更直接和准确并且可以测试特定指令组合的峰值带宽。MegEngine团队使用MegPeak在几种常用ARM架构CPU上进行测试根据对指令fmla的测试结果整理出下表。其中GFLOPS指标可以衡量设备的算力而 FLOPS/Cycle指标可以帮助推测CPU的硬件特征。下面以A55/A77/Apple M1分别举例说明。A55由于每条指令fmla可执行两次浮点运算包括一次乘法和一次加法且测试得到的FLOPS/Cycle指标接近8故可以推测A55的后端执行单元有一个128位浮点向量乘加单元或有两个64位浮点向量乘加单元。A77其FLOPS/Cycle指标约为16所以每个周期A77可以执行2条SIMD的fmla指令所以其后端有两个SIMD fmla执行单元且后端至少是双发射的。Apple M1Apple M1的FLOPS/Cycle指标达到了32说明其拥有4个SIMD执行单元。用 MegPeak 测到的数据可以用来干什么MegPeak可以测试出处理器的内存带宽指令的理论计算峰值指令的延迟等信息因此可以帮助我们绘制 Roofline Model 指导我们优化模型性能评估程序的优化空间探索指令组合的理论计算峰值另外MegPeak还可以提供对理论的验证如我们通过处理器频率单核单周期指令发射数量每条指令执行的计算量可以计算出理论计算峰值然后我们可以通过MegPeak进行实际测量进行验证。绘制指令相关的 Roofline ModelRoofline 模型被大量的使用在高性能计算中是评估算法的可优化程度和优化方向的重要工具。使用 MegPeak 可以绘制出更加具体的关于指令对应的Roofline模型如在CPU中不同的数据类型虽然访存带宽不会改变但是计算峰值差距比较大比如在arm上 float 的计算峰值和 int8 的计算峰值差距很大。评估代码优化空间在优化具体算法的时候可以通过MegPeak测试出kernel里面的主要指令的最大峰值如在Arm上优化 fp32 Matmul 的时候主要用到的指令是 fmla 指令这时候可以测试程序实际运行的峰值指令的峰值和程序的峰值差距越小说明代码优化的越好。另外可以根据算法实现计算出计算量和访存量并使用MegPeak绘制出上面的Roofline通过计算实际的计算密度然后再对应到Roofline中如果计算密度落在上图中的绿色区域说明程序需要更多考虑优化访存提供更优的访存模型如分块提前pack数据等。如果计算强度的点落在灰色区域说明代码已经最优了如果还想进一步提速只能考虑从算法角度进行优化了如在卷积中使用FFTWinograd等算法进行优化。探索最优指令组合很多Kernel的优化不是单纯的某一条指令就可以衡量可能需要多条指令的组合才能代表整个Kernel的计算因此我们需要探索如何组织这些指令使其达到处理器最优的性能。下面列举在A53小核优化fp32 Matmul的过程中由于Matmul是计算密集型算子, 考虑通过多发射隐藏访存指令的开销使用 MegPeak 配合进行分析探索如何组合指令实现尽可能多的多发射。因为小核上面资源有限指令多发射有很多限制首先使用MegPeak测试出 A53 上 fp32 的 fmla 指令的计算峰值将其定义为100%峰值计算性能测试哪些指令组合可以支持双发射在MegPeak中添加 vector load 和 fmla 1:1组合的代码然后测试其峰值仅仅为float峰值的36%表明Vector load和 fmla不能双发射同样可以测得通用寄存器load指令ldrfmla的组合可以达到float峰值的93%说明 ldr 可以和 fmla 双发射同上可以测得 ins fmla 能双发射ins vector load 64位 可以双发射根据Matmul最内层Kernel的计算原理如最内层Kernel的分块大小是8x12那最内层需要读取20个float数据计算24次fmla计算结合上面的 MegPeak 测试的信息我们需要找到用最少时钟完成这20个float数据load和24次fmla数据计算的指令组合因此需要将尽可能多的数据load和fmla进行双发射隐藏数据load的耗时最后的指令组合是使用vector load 64指令 ldr ins组合成为一个neon寄存器数据因为ldr和ins都可以和fmla双发射把他们和fmla放在一起可以隐藏他们的耗时在这3条指令中穿插fmla指令并尽可能解决数据依赖根据上面的指令组合可以使得Matmul在小核上达到计算峰值的70%左右。总结MegPeak 作为一个进行高性能计算的辅助工具能够使得开发人员轻松获得目标处理器的内在的详细信息辅助进行对代码的性能评估以及优化方法设计。但是MegPeak也有一些需要丰富的方向:支持获取更多的处理器性能数据如L1L2 cache的大小自动探索各种指令组合的双发射情况并大概绘制出一个处理器后端的缩略图。如https://en.wikichip.org/w/images/5/57/cortex-a76_block_diagram.svg支持测量移动端OpenCL的更多细节信息如warp sizelocal memory 大小等。如果有同学对上面的功能感兴趣欢迎大家提交代码。最后欢迎大家使用 MegPeak。
