东营市住房和城乡建设管理局网站,商丘家具网站建设,伊春seo公司,酒店网站报价方案文 | godweiyang最近因为项目需要#xff0c;入坑了CUDA#xff0c;又要开始写很久没碰的C了。对于CUDA编程以及它所需要的GPU、计算机组成、操作系统等基础知识#xff0c;我基本上都忘光了#xff0c;因此也翻了不少教程。这里简单整理一下#xff0c;给同样有入门需求的… 文 | godweiyang最近因为项目需要入坑了CUDA又要开始写很久没碰的C了。对于CUDA编程以及它所需要的GPU、计算机组成、操作系统等基础知识我基本上都忘光了因此也翻了不少教程。这里简单整理一下给同样有入门需求的同学们参考一下。官方文档及书籍英文好、时间充裕的同学可以精读官方文档或者著作。NVIDIA CUDA C Programming Guide地址https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html这是英伟达官方的CUDA编程教程但是我英文一般简单过了一遍之后感觉很多细节没讲有一定的跳跃性所以我看完还是很朦胧。CUDA C Best Practices Guide地址https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html这也是英伟达官方的CUDA编程教程不过侧重点在实践方面比如如何编程才能最大化利用GPU特性提升性能建议基础打好之后再来看这个。CUDA C编程权威指南这么经典的书就不用我多说了英文原版叫 《Professional CUDA C Programming》 pdf地址http://www.hds.bme.hu/~fhegedus/C/Professional%20CUDA%20C%20Programming.pdf个人博客像我这种英文差、想快速入门的只能找找中文博客看看了还是找到不少非常奈斯的教程的。谭升的博客强推地址https://face2ai.com/program-blog/#GPU编程CUDA这是我最近发现的又一个宝藏博主看完他的GPU编程系列教程后感觉豁然开朗很多底层的原理和细节都通彻了强烈安利 他在github还开源了教程对应的示例代码https://github.com/Tony-Tan/CUDA_FreshmanCUDA编程入门极简教程地址https://zhuanlan.zhihu.com/p/34587739速览即可看完就会写最简单的CUDA代码了。《CUDA C Programming Guide》(《CUDA C 编程指南》)导读地址https://zhuanlan.zhihu.com/p/53773183这是NVIDIA CUDA C Programming Guide和《CUDA C编程权威指南》两者的中文解读加入了很多作者自己的理解对于快速入门还是很有帮助的。但还是感觉细节欠缺了一点建议不懂的地方还是去看原著。CUDA编程入门系列地址https://zhuanlan.zhihu.com/p/97044592这位大佬写了六篇主要是通过一个简单的加法的例子一步步讲了CUDA优化的若干种方法拿来上手实践一下还是很棒的。CUDA编程系列地址https://blog.csdn.net/sunmc1204953974/article/details/51000970这个系列写的也是很全了十几篇建议快速通读一下。开源代码有很多的CUDA源码可以供我们慢慢学习我这就简单给几个典型的Transformer系列的加速代码了。LightSeq地址https://github.com/bytedance/lightseq这是字节跳动开源的生成模型推理加速引擎BERT、GPT、VAE等等全都支持速度也是目前业界最快的之一。FasterTransformer地址https://github.com/NVIDIA/DeepLearningExamples/tree/master/FasterTransformer这是英伟达开源的Transformer推理加速引擎。TurboTransformers地址https://github.com/Tencent/TurboTransformers这是腾讯开源的Transformer推理加速引擎。DeepSpeed地址https://github.com/microsoft/DeepSpeed这是微软开源的深度学习分布式训练加速引擎。我mentor说不需要看这些然后甩给了我20行代码说看懂了就行了。结果我看懂了门还是没开QAQ所以建议还是看看底层一些的原理加深自己的理解特别是我强推的那篇博客。后台回复关键词【入群】加入卖萌屋NLP/IR/Rec与求职讨论群后台回复关键词【顶会】获取ACL、CIKM等各大顶会论文集
