响水做网站价格,网站美工设计流程,深圳网站设计公司招聘,西安企业信息查询官网简介 早在2009年#xff0c;深度学习还只是一个新兴领域#xff0c;只有少数人认为它是一个多产的研究方向。今天#xff0c;深度学习正在被用来开发那些过去被认为是不可能完成的应用。 语音识别#xff0c;图像识别#xff0c;数据中的模式识别#xff0c;照片中的对象… 简介 早在2009年深度学习还只是一个新兴领域只有少数人认为它是一个多产的研究方向。今天深度学习正在被用来开发那些过去被认为是不可能完成的应用。 语音识别图像识别数据中的模式识别照片中的对象分类字符文本生成自动驾驶汽车等等只是其中几个示例。因此熟悉深度学习及其概念显得尤为重要。 在这个测试中我们考察了社区成员的深度学习基本概念。总共有1070人参加了这项技能测试。 如果你错过了这次测试下面这些问题就是你检查自身技能水平的好机会。 总体结果 下面是成绩的分布图有助您评估自己的表现。 你可以在这里获取到全部的成绩超过200人参加了这项测试最高得分是35分。这里是成绩分布的统计描述 总体分布 平均分 16.45 中位数 20 众数 0 看起来很多人很晚才开始比赛或者只回答了几个题目就没有继续下去。我并不知道确切的原因可能是测试题目对大多数参与者过于困难。 如果你对这个现象背后的原因有任何洞见欢迎联系我们。 有用的资源 ·Fundamentals of Deep Learning – Starting with Artificial Neural Networkhttps://www.analyticsvidhya.com/blog/2016/03/introduction-deep-learning-fundamentals-neural-networks/ ·Practical Guide to implementing Neural Networks in Python (using Theano)(https://www.analyticsvidhya.com/blog/2016/04/neural-networks-python-theano/) ·A Complete Guide on Getting Started with Deep Learning in Python(https://www.analyticsvidhya.com/blog/2016/08/deep-learning-path/) ·Tutorial: Optimizing Neural Networks using Keras (with Image recognition case study)https://www.analyticsvidhya.com/blog/2016/10/tutorial-optimizing-neural-networks-using-keras-with-image-recognition-case-study/ ·An Introduction to Implementing Neural Networks using TensorFlow(https://www.analyticsvidhya.com/blog/2016/10/an-introduction-to-implementing-neural-networks-using-tensorflow/) 题目和答案 1神经网络模型Neural Network因受人脑的启发而得名。 神经网络由许多神经元Neuron组成每个神经元接受一个输入处理它并给出一个输出。这里是一个真实的神经元的图解表示。下列关于神经元的陈述中哪一个是正确的 一个神经元只有一个输入和一个输出 一个神经元有多个输入和一个输出 一个神经元有一个输入和多个输出 一个神经元有多个输入和多个输出 上述都正确 答案E 一个神经元可以有一个或多个输入和一个或多个输出。 2下图是一个神经元的数学表达 神经元的组成部分表示为 - x1, x2,…, xN表示神经元的输入。可以是输入层的实际观测值也可以是某一个隐层Hidden Layer的中间值 - w1, w2,…,wN表示每一个输入的权重 - bi表示偏差单元bias unit。作为常数项加到激活函数的输入当中和截距Intercept项相似 - a代表神经元的激励Activation可以表示为 - y神经元输出 考虑上述标注线性等式y mx c可以被认为是属于神经元吗 A 是 B 否 答案A 一个不包含非线性的神经元可以看作是线性回归函数Linear Regression Function。 3假设在一个神经元上实现和AND函数下表是和函数的表述 X1 X2 X1 AND X2 0 0 0 0 1 0 1 0 0 1 1 1 激活函数为 权重Weights和偏差Bias哪一组是正确的 提示对哪一组w1, w2, b神经元可以实现AND函数 A. Bias -1.5, w1 1, w2 1 B. Bias 1.5, w1 2, w2 2 C. Bias 1, w1 1.5, w2 1.5 D. 以上都不正确 答案A 1. f(-1.5*1 1*0 1*0) f(-1.5) 0 2. f(-1.5*1 1*0 1*1) f(-0.5) 0 3. f(-1.5*1 1*1 1*0) f(-0.5) 0 4. f(-1.5*1 1*1 1*1) f(0.5) 1 带入测试值A选项正确 4多个神经元堆叠在一起构成了神经网络我们举一个例子用神经网络模拟同或门XNOR。 你可以看见最后一个神经元有两个输入。所有神经元的激活函数是 假设X1是0X2是1神经网络的输出是什么 0 1 答案A a1输出: f(0.5*1 -1*0 -1*1) f(-0.5) 0 a2输出: f(-1.5*1 1*0 1*1) f(-0.5) 0 a3输出: f(-0.5*1 1*0 1*0) f(-0.5) 0 正确答案是A 5在一个神经网络里知道每一个神经元的权重和偏差是最重要的一步。如果以某种方法知道了神经元准确的权重和偏差你就可以近似任何函数。实现这个最佳的办法是什么 随机赋值祈祷它们是正确的 搜索所有权重和偏差的组合直到得到最佳值 赋予一个初始值通过检查跟最佳值的差值然后迭代更新权重 以上都不正确 答案C 选项C是对梯度下降的描述。 6梯度下降算法的正确步骤是什么 计算预测值和真实值之间的误差 迭代跟新直到找到最佳权重 把输入传入网络得到输出值 初始化随机权重和偏差 对每一个产生误差的神经元改变相应的权重值以减小误差 A. 1, 2, 3, 4, 5 B. 5, 4, 3, 2, 1 C. 3, 2, 1, 5, 4 D. 4, 3, 1, 5, 2 答案D 选项D是正确的 7假设你有输入xyz值分别是-25-4。你有神经元q和f函数分别为q x yf q * z。函数的图示如下图 F对xy和z的梯度分别是提示计算梯度你必须找到df/dx, df/dy和df/dz A. (-3,4,4) B. (4,4,3) C. (-4,-4,3) D. (3,-4,-4) 答案C 选项C是正确的。 8现在回顾之前的内容。我们学到了 - 大脑是有很多叫做神经元的东西构成神经网络是对大脑的粗糙的数学表达。 - 每一个神经元都有输入、处理函数和输出。 - 神经元堆叠起来形成了网络用作近似任何函数。 - 为了得到最佳的神经网络我们用梯度下降方法不断更新模型 给定上述关于神经网络的描述什么情况下神经网络模型被称为深度学习模型 加入更多层使神经网络的深度增加 有维度更高的数据 当这是一个图形识别的问题时 以上都不正确 答案A 更多层意味着网络更深。没有严格的定义多少层的模型才叫深度模型目前如果有超过2层的隐层那么也可以及叫做深度模型。 9神经网络可以认为是多个简单函数的堆叠。假设我们想重复下图所示的决策边界 使用两个简单的输入h1和h2 最终的等式是什么 A. (h1 AND NOT h2) OR (NOT h1 AND h2) B. (h1 OR NOT h2) AND (NOT h1 OR h2) C. (h1 AND h2) OR (h1 OR h2) D. None of these 答案A 你可以看见巧妙地合并h1和h2可以很容易地得到复杂的等式。参见这本书的第九章。 10卷积神经网络可以对一个输入完成不同种类的变换旋转或缩放这个表述正确吗 正确 错误 答案B 数据预处理也就是旋转、缩放步骤在把数据传入神经网络之前是必要的神经网络自己不能完成这些变换。 11下列哪一种操作实现了和神经网络中Dropout类似的效果 A. Bagging B. Boosting C. 堆叠Stacking D. 以上都不正确 答案A Dropout可以认为是一种极端的Bagging每一个模型都在单独的数据上训练通过和其他模型对应参数的共享模型的参数都进行了很强的正则化。参见这里。 12下列哪哪一项在神经网络中引入了非线性 随机梯度下降 修正线性单元ReLU 卷积函数 以上都不正确 答案B 修正线性单元是非线性的激活函数。 13训练神经网络过程中损失函数在一些时期Epoch不再减小 原因可能是 学习率Learning rate太低 正则参数太大 卡在了局部最小值 在你看来哪些是可能的原因 A. 1 and 2 B. 2 and 3 C. 1 and 3 D. 都不是 答案D 以上原因都可能造成这个结果。 14下列哪项关于模型能力model capacity的描述是正确的指模型能近似复杂函数的能力 隐层层数增加模型能力增加 Dropout的比例增加模型能力增加 学习率增加模型能力增加 都不正确 答案A 只有选项A正确。 15如果增加多层感知机Multilayer Perceptron的隐层层数测试集的分类错误会减小。这种陈述正确还是错误 正确 错误 答案B 并不总是正确。过拟合可能会导致错误增加。 16构建一个神经网络将前一层的输出和它自身作为输入。 下列哪一种架构有反馈连接 循环神经网络 卷积神经网络 限制玻尔兹曼机 都不是 答案A 选项A正确。 17在感知机中Perceptron的任务顺序是什么 初始化随机权重 去到数据集的下一批batch 如果预测值和输出不一致改变权重 对一个输入样本计算输出值 A. 1, 2, 3, 4 B. 4, 3, 2, 1 C. 3, 1, 2, 4 D. 1, 4, 3, 2 答案D 顺序D是正确的。 18假设你需要改变参数来最小化代价函数cost function可以使用下列哪项技术 A 穷举搜索 B 随机搜索 C Bayesian优化 D 以上任意一种 答案D 以上任意种技术都可以用来更新参数。 19在哪种情况下一阶梯度下降不一定正确工作可能会卡住 A. B. C. D. 以上都不正确 答案B 这是鞍点Saddle Point的梯度下降的经典例子。 20训练好的三层卷积神经网络的精确度Accuracyvs 参数数量比如特征核的数量的图示如下。 从图中趋势可见如果增加神经网络的宽度精确度会增加到一个阈值然后开始降低。这一现象的可能是什么原因是造成的 即便核数量number of kernels增加只有一部分核被用于预测 当核数量增加神经网络的预测功效Power降低 当核数量增加其相关性增加导致过拟合 以上都不正确 答案C 如C选项指出的那样可能的原因是核之间的相关性。 21假设我们有一个隐层神经网络如上所示。隐层在这个网络中用于降维。现在我们并不是采用这个隐层而是使用例如主成分分析Principal Component Analysis, PCA的降维技术。 使用降维技术的网络与隐层网络总是有相同的输出吗 A.是 B.否 答案B 因为PCA用于相关特征而隐层用于有预测能力的特征 22可以用神经网络对函数(y1/x)建模吗 A.是 B.否 答案A 选项A是正确的因为激活函数可以是互反函数 23下列哪个神经网络结构会发生权重共享 A.卷积神经网络 B.循环神经网络 C.全连接神经网络 D.选项A和B 答案D 24批规范化是有帮助的因为 A.在将所有的输入传递到下一层之前对其进行归一化更改 B.它将返回归一化的权重平均值和标准差 C.它是一种非常有效的反向传播技术 D.这些均不是 答案A 要详细了解批规范化请参阅此视频。 25我们不是想要绝对零误差而是设置一个称为贝叶斯bayes误差我们希望实现的误差的度量。使用贝叶斯bayes误差的原因是什么 A.输入变量可能不包含有关输出变量的完整信息 B.系统创建输入-输出映射可以是随机的 C.有限的训练数据 D.所有 答案D 想在现实中实现准确的预测是一个神话所以我们的希望应该放在实现一个“可实现的结果”上。 26在监督学习任务中输出层中的神经元的数量应该与类的数量其中类的数量大于2匹配。对或错 A.正确 B.错误 答案B 它取决于输出编码。如果是独热编码(one-hot encoding) 则正确。但是你可以有两个输出囊括四个类并用二进制值表示出来00,01,10,11。 27在神经网络中以下哪种技术用于解决过拟合 A.Dropout B.正则化 C.批规范化 D.所有 答案D 所有的技术都可以用于处理过拟合。 28Y ax^2 bx c二次多项式 这个方程可以用具有线性阈值的单个隐层的神经网络表示吗 A.是 B.否 答案B 答案为否。因为简单来说有一个线性阈值限制神经网络就会使它成为一个相应的线性变换函数。 29神经网络中的死神经元dead unit是什么 A.在训练任何其它相邻单元时不会更新的单元 B.没有完全响应任何训练模式的单元 C.产生最大平方误差的单元 D.以上均不符合 答案A 30以下哪项是对早期停止的最佳描述 A.训练网络直到达到误差函数中的局部最小值 B.在每次训练期后在测试数据集上模拟网络当泛化误差开始增加时停止训练 C.在中心化权重更新中添加一个梯度下降加速算子以便训练更快地收敛 D.更快的方法是反向传播如‘Quickprop’算法 答案B 31如果我们使用的学习率太大该怎么办 A.网络将收敛 B.网络将无法收敛 C.不确定 答案B 选项B正确因为错误率会变得不稳定并且达到非常大的值 32图1所示的网络用于训练识别字符H和T如下所示 网络的输出是什么 A. B. C. D.可能是A或B取决于神经网络的权重 答案D 不知道神经网络的权重和偏差是什么则无法评论它将会给出什么样的输出。 33假设在ImageNet数据集对象识别数据集上训练卷积神经网络。然后给这个训练模型一个完全白色的图像作为输入。这个输入的输出概率对于所有类都是相等的。对或错 A.正确 B.错误 答案B 将存在一些不为白色像素激活的神经元作为输入所以类不会相等。 34当在卷积神经网络中添加池化层(pooling layer)时变换的不变性保持稳定这样的理解是否正确 A.正确 B.错误 答案A 使用池化时会导致出现不变性。 35Q35.当数据太大而不能同时在RAM中处理时哪种梯度技术更有优势 A.全批量梯度下降(Full Batch Gradient Descent ) B.随机梯度下降(Stochastic Gradient Descent) 答案B 36该图表示使用每个训练时期的激活函数-训练有四个隐藏层的神经网络梯度流。神经网络遭遇了梯度消失问题。 下列哪项正确 A.隐藏层1对应于D隐藏层2对应于C隐藏层3对应于B隐藏层4对应于A B.隐藏层1对应于A隐藏层2对应于B隐藏层3对应于C隐藏层4对应于D 答案A 这是对消失梯度描述的问题。由于反向传播算法进入起始层学习能力降低。 37对于分类任务我们不是将神经网络中的随机权重初始化而是将所有权重设为零。下列哪项是正确的 A.没有任何问题神经网络模型将正常训练 B.神经网络模型可以训练但所有的神经元最终将识别同样的事情 C.神经网络模型不会进行训练因为没有净梯度变化 D.这些均不会发生 答案B 38开始时有一个停滞期这是因为神经网络在进入全局最小值之前陷入局部最小值。 为了避免这种情况下面的哪个策略有效 A.增加参数的数量因为网络不会卡在局部最小值处 B.在开始时把学习率降低10倍然后使用梯度下降加速算子(momentum) C.抖动学习速率即改变几个时期的学习速率 D.以上均不是 答案C 选项C可以将陷于局部最小值的神经网络提取出来。 39对于图像识别问题比如识别照片中的猫神经网络模型结构更适合解决哪类问题 A.多层感知器 B.卷积神经网络 C.循环神经网络 D.感知器 答案B 卷积神经网络将更好地适用于图像相关问题因为考虑到图像附近位置变化的固有性质。 40假设在训练时你遇到这个问题。在几次迭代后错误突然增加。 您确定数据一定有问题。您将数据描绘出来找到了原始数据有点偏离这可能是导致出现问题的地方。 你将如何应对这个挑战 A.归一化 B.应用PCA然后归一化 C.对数据进行对数变换 D.以上这些都不符合 答案B 首先您将相关的数据去掉然后将其置零。 41以下哪项是神经网络的决策边界 A) B B) A C) D D) C E) 以上所有 答案E 神经网络被称为通用函数拟合器(universal function approximator)所以它理论上可以表示任何决策边界。 42在下面的图中我们观察到错误有许多“起伏”我们该为此而担心吗 A.是因为这意味着神经网络的学习速率有问题。 B.否只要训练和验证错误累积减少我们就不必担心。 答案B 选项B是正确的为了减少这些“起伏”可以尝试增加批尺寸(batch size) 43什么是影响神经网络的深度选择的因素 1.神经网络的类型例如多层感知机(Multi-Layer Perceptrons, MLP)卷积神经网络(Convolutional Neural Networks, CNN) 2.输入数据 3.计算能力即硬件和软件能力 4.学习率 5.输出函数映射 A. 1, 2, 4, 5 B. 2, 3, 4, 5 C. 1, 3, 4, 5 D. 以上均是 答案D 所有上述因素对于选择神经网络模型的深度都是重要的。 44考虑这种情况您尝试解决的问题有少量的数据。幸运的是您有一个之前训练过的针对类似问题的神经网络模型。您将使用以下哪种方法来使用该预先训练的模型 A.对于新的数据集重新训练模型 B.在每一层评估模型如何执行只选择其中的一些 C.只微调最后几层 D.冻结除最后一层之外的所有层重新训练最后一层 答案D 如果数据集大部分相似最好的方法是只训练最后一层因为前面的所有层都用于特征提取。 45增大卷积核的大小必然会提高卷积神经网络的性能。 A.正确 B.错误 答案B 增加核函数的大小不一定会提高性能。这个问题在很大程度上取决于数据集。 原文发布时间为2017-02-27 本文来自云栖社区合作伙伴“大数据文摘”了解相关信息可以关注“BigDataDigest”微信公众号
