申请个网站要多少钱,开发一套app要多少钱,微商网站如何做推广方案,wordpress联系方式主流深度学习框架深度学习研究的热潮持续高涨#xff0c;各种开源深度学习框架也层出不穷#xff0c;其中包括TensorFlow、Caffe、Keras、CNTK、Torch7、MXNet、Leaf、Theano、DeepLearning4、Lasagne、Neon#xff0c;等等 TensorFlow比如设计神经网络结构的代码的简洁度各种开源深度学习框架也层出不穷其中包括TensorFlow、Caffe、Keras、CNTK、Torch7、MXNet、Leaf、Theano、DeepLearning4、Lasagne、Neon等等 TensorFlow比如设计神经网络结构的代码的简洁度分布式深度学习算法的执行效率还有部署的便利性。 TensorFlowTensorFlow是相对高阶的机器学习库用户可以方便地用它设计神经网络结构而不必为了追求高效率的实现亲自写C或CUDA代码。 核心代码和Caffe一样是用C编写的使用C简化了线上部署的复杂度并让手机这种内存和CPU资源都紧张的设备可以运行复杂模型Python则会比较消耗资源并且执行效率不高。除了核心代码的C接口TensorFlow还有官方的Python、Go和Java接口是通过SWIGSimplified Wrapper and Interface Generator实现的这样用户就可以在一个硬件配置较好的机器中用Python进行实验并在资源比较紧张的嵌入式环境或需要低延迟的环境中用C部署模型。 特点 支持多种机器学习算法。同时TensorFlow不只局限于神经网络其数据流式图支持非常自由的算法表达当然也可以轻松实现深度学习以外的机器学习算法。 支持数据并行模式。 灵活的移植性部署便利性 。可以将同一份代码几乎不经过修改就轻松地部署到有任意数量CPU或GPU的PC、服务器或者移动设备上。相比于TheanoTensorFlow还有一个优势就是它极快的编译速度在定义新网络结构时Theano通常需要长时间的编译因此尝试新模型需要比较大的代价而TensorFlow完全没有这个问题。 可视化组件。TensorFlow还有功能强大的可视化组件TensorBoard能可视化网络结构和训练过程对于观察复杂的网络结构和监控长时间、大规模的训练很有帮助。TensorFlow针对生产环境高度优化它产品级的高质量代码和设计都可以保证在生产环境中稳定运行同时一旦TensorFlow广泛地被工业界使用将产生良性循环成为深度学习领域的事实标准。 CaffeCaffe全称为Convolutional Architecture for Fast Feature Embedding是一个被广泛使用的开源深度学习框架在TensorFlow出现之前一直是深度学习领域GitHub star最多的项目目前由伯克利视觉学中心Berkeley Vision and Learning CenterBVLC进行维护。Caffe的创始人是加州大学伯克利的Ph.D.贾扬清他同时也是TensorFlow的作者之一曾工作于MSRA、NEC和Google Brain目前就职于Facebook FAIR实验室。框架源码caffe_GitHub Caffe的主要优势包括如下几点:容易上手网络结构都是以配置文件形式定义不需要用代码设计网络。训练速度快能够训练state-of-the-art的模型与大规模的数据。组件模块化可以方便地拓展到新的模型和学习任务上。TheanoTheano诞生于2008年由蒙特利尔大学Lisa Lab团队开发并维护是一个高性能的符号计算及深度学习库。因其出现时间早可以算是这类库的始祖之一也一度被认为是深度学习研究和应用的重要标准之一。Theano的核心是一个数学表达式的编译器专门为处理大规模神经网络训练的计算而设计。它可以将用户定义的各种计算编译为高效的底层代码并链接各种可以加速的库比如BLAS、CUDA等。Theano允许用户定义、优化和评估包含多维数组的数学表达式它支持将计算装载到GPUTheano在GPU上性能不错但是CPU上较差。与Scikit-learn一样Theano也很好地整合了NumPy对GPU的透明让Theano可以较为方便地进行神经网络设计而不必直接写CUDA代码。框架源码theano_github Theano的主要优势如下: 集成NumPy可以直接使用NumPy的ndarrayAPI接口学习成本低。 计算稳定性好比如可以精准地计算输出值很小的函数像log(1x)。动态地生成C或者CUDA代码用以编译成高效的机器代码。 Theano是一个完全基于PythonC/CUDA代码也是打包为Python字符串的符号计算库 KerasKeras是一个崇尚极简、高度模块化的神经网络库使用Python实现并可以同时运行在TensorFlow和Theano上。它旨在让用户进行最快速的原型实验让想法变为结果的这个过程最短。Theano和TensorFlow的计算图支持更通用的计算而Keras则专精于深度学习。Theano和TensorFlow更像是深度学习领域的NumPy而Keras则是这个领域的Scikit-learn。它提供了目前为止最方便的API用户只需要将高级的模块拼在一起就可以设计神经网络它大大降低了编程开销code overhead和阅读别人代码时的理解开销cognitive overhead。它同时支持卷积网络和循环网络支持级联的模型或任意的图结构的模型可以让某些数据跳过某些Layer和后面的Layer对接使得创建Inception等复杂网络变得容易从CPU上计算切换到GPU加速无须任何代码的改动。因为底层使用Theano或TensorFlow用Keras训练模型相比于前两者基本没有什么性能损耗还可以享受前两者持续开发带来的性能提升只是简化了编程的复杂度节约了尝试新网络结构的时间。可以说模型越复杂使用Keras的收益就越大尤其是在高度依赖权值共享、多模型组合、多任务学习等模型上Keras表现得非常突出。Keras所有的模块都是简洁、易懂、完全可配置、可随意插拔的并且基本上没有任何使用限制神经网络、损失函数、优化器、初始化方法、激活函数和正则化等模块都是可以自由组合的。Keras也包括绝大部分state-of-the-art的Trick包括Adam、RMSProp、Batch Normalization、PReLU、ELU、LeakyReLU等。同时新的模块也很容易添加这让Keras非常适合最前沿的研究。Keras中的模型也都是在Python中定义的不像Caffe、CNTK等需要额外的文件来定义模型这样就可以通过编程的方式调试模型结构和各种超参数。在Keras中只需要几行代码就能实现一个MLP或者十几行代码实现一个AlexNet这在其他深度学习框架中基本是不可能完成的任务。Keras最大的问题可能是目前无法直接使用多GPU所以对大规模的数据处理速度没有其他支持多GPU和分布式的框架快。Keras的编程模型设计和Torch很像但是相比TorchKeras构建在Python上有一套完整的科学计算工具链而Torch的编程语言Lua并没有这样一条科学计算工具链。无论从社区人数还是活跃度来看Keras目前的增长速度都已经远远超过了Torch。框架源码keras_github TorchTorch给自己的定位是LuaJIT上的一个高效的科学计算库支持大量的机器学习算法同时以GPU上的计算优先。Torch的历史非常悠久但真正得到发扬光大是在Facebook开源了其深度学习的组件之后此后包括Google、Twitter、NYU、IDIAP、Purdue等组织都大量使用Torch。Torch的目标是让设计科学计算算法变得便捷它包含了大量的机器学习、计算机视觉、信号处理、并行运算、图像、视频、音频、网络处理的库同时和Caffe类似Torch拥有大量的训练好的深度学习模型。它可以支持设计非常复杂的神经网络的拓扑图结构再并行化到CPU和GPU上在Torch上设计新的Layer是相对简单的。它和TensorFlow一样使用了底层C加上层脚本语言调用的方式只不过Torch使用的是Lua。Lua的性能是非常优秀的该语言经常被用来开发游戏常见的代码可以通过透明的JIT优化达到C的性能的80%在便利性上Lua的语法也非常简单易读拥有漂亮和统一的结构易于掌握比写C/C简洁很多同时Lua拥有一个非常直接的调用C程序的接口可以简便地使用大量基于C的库因为底层核心是C写的因此也可以方便地移植到各种环境。Lua支持Linux、Mac还支持各种嵌入式系统iOS、Android、FPGA等只不过运行时还是必须有LuaJIT的环境所以工业生产环境的使用相对较少没有Caffe和TensorFlow那么多。框架源码torch_github 参考资料 主流深度学习框架对比现在最火的深度学习框架是什么_2017
