开发手机端网站模板下载不了,做公司官网需要多少钱,信息流优化师怎么入行,大学校园网络规划设计方案本系列文章md笔记#xff08;已分享#xff09;主要讨论人工智能相关知识。主要内容包括#xff0c;了解机器学习定义以及应用场景#xff0c;掌握机器学习基础环境的安装和使用#xff0c;掌握利用常用的科学计算库对数据进行展示、分析#xff0c;学会使用jupyter note…
本系列文章md笔记已分享主要讨论人工智能相关知识。主要内容包括了解机器学习定义以及应用场景掌握机器学习基础环境的安装和使用掌握利用常用的科学计算库对数据进行展示、分析学会使用jupyter notebook平台完成代码编写运行应用Matplotlib的基本功能实现图形显示应用Matplotlib实现多图显示应用Matplotlib实现不同画图种类学习Numpy运算速度上的优势知道Numpy的数组内存块风格了解Numpy与Pandas的不同学习Pandas的使用应用crosstab和pivot_table实现交叉表与透视表应用Pandas实现数据的读取和存储并且了解完整机器学习项目的流程。
全套笔记和代码自取在个人博客 https://gitee.com/yinuo112/Technology/tree/master/机器学习/机器学习科学计算库/1.md
感兴趣的小伙伴可以自取哦欢迎大家点赞转发~ 共 7 章33 子模块 机器学习概述
学习目标
了解人工智能发展历程了解机器学习定义以及应用场景知道机器学习算法监督学习与无监督学习的区别知道监督学习中的分类、回归特点知道机器学习的开发流程
1.3 人工智能主要分支
学习目标
了解人工智能的主要分支 1 主要分支介绍
通讯、感知与行动是现代人工智能的三个关键能力在这里我们将根据这些能力/应用对这三个技术领域进行介绍 计算机视觉(CV)、 自然语言处理(NLP) 在 NLP 领域中将覆盖文本挖掘/分类、机器翻译和语音识别。 机器人
1.1 分支一计算机视觉
计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。物体检测和人脸识别是其比较成功的研究领域。
当前阶段
计算机视觉现已有很多应用这表明了这类技术的成就也让我们将其归入到应用阶段。随着深度学习的发展机器甚至能在特定的案例中实现超越人类的表现。但是这项技术离社会影响阶段还有一定距离那要等到机器能在所有场景中都达到人类的同等水平才行(感知其环境的所有相关方面)。
发展历史 1.2 分支二语音识别
语音识别是指识别语音(说出的语言)并将其转换成对应文本的技术。相反的任务(文本转语音/TTS)也是这一领域内一个类似的研究主题。
当前阶段
语音识别已经处于应用阶段很长时间了。最近几年随着大数据和深度学习技术的发展语音识别进展颇丰现在已经非常接近社会影响阶段了。
语音识别领域仍然面临着声纹识别和**「鸡尾酒会效应」**等一些特殊情况的难题。
现代语音识别系统严重依赖于云在离线时可能就无法取得理想的工作效果。
发展历史 百度语音识别 距离小于1米中文字准率97%支持耳语、长语音、中英文混合及方言 1.3 分支三文本挖掘/分类
**这里的文本挖掘主要是指文本分类该技术可用于理解、组织和分类结构化或非结构化文本文档。**其涵盖的主要任务有句法分析、情绪分析和垃圾信息检测。
当前阶段
我们将这项技术归类到应用阶段因为现在有很多应用都已经集成了基于文本挖掘的情绪分析或垃圾信息检测技术。文本挖掘技术也在智能投顾的开发中有所应用并且提升了用户体验。
文本挖掘和分类领域的一个瓶颈出现在歧义和有偏差的数据上。
发展历史 1.4 分支四机器翻译
机器翻译(MT)是利用机器的力量自动将一种自然语言(源语言)的文本翻译成另一种语言(目标语言)。
当前阶段
机器翻译是一个见证了大量发展历程的应用领域。该领域最近由于神经机器翻译而取得了非常显著的进展但仍然没有全面达到专业译者的水平但是我们相信在大数据、云计算和深度学习技术的帮助下机器翻译很快就将进入社会影响阶段。
在某些情况下俚语和行话等内容的翻译会比较困难(受限词表问题)。
专业领域的机器翻译(比如医疗领域)表现通常不好。
发展历史 1.5 分支五机器人
机器人学(Robotics)研究的是机器人的设计、制造、运作和应用以及控制它们的计算机系统、传感反馈和信息处理。
**机器人可以分成两大类:固定机器人和移动机器人。**固定机器人通常被用于工业生产(比如用于装配线)。常见的移动机器人应用有货运机器人、空中机器人和自动载具。机器人需要不同部件和系统的协作才能实现最优的作业。其中在硬件上包含传感器、反应器和控制器另外还有能够实现感知能力的软件比如定位、地图测绘和目标识别。
当前阶段
自上世纪「Robot」一词诞生以来人们已经为工业制造业设计了很多机器人。工业机器人是增长最快的应用领域它们在 20 世纪 80 年代将这一领域带入了应用阶段。在安川电机、Fanuc、ABB、库卡等公司的努力下我们认为进入 21 世纪之后机器人领域就已经进入了社会影响阶段此时各种工业机器人已经主宰了装配生产线。此外软体机器人在很多领域也有广泛的应用比如在医疗行业协助手术或在金融行业自动执行承销过程。
但是法律法规和「机器人威胁论」可能会妨碍机器人领域的发展。还有设计和制造机器人需要相对较高的投资。
发展历史 总的来说人工智能领域的研究前沿正逐渐从搜索、知识和推理领域转向机器学习、深度学习、计算机视觉和机器人领域。
大多数早期技术至少已经处于应用阶段了而且其中一些已经显现出了社会影响力。一些新开发的技术可能仍处于工程甚至研究阶段但是我们可以看到不同阶段之间转移的速度变得越来越快。
2 小结 人工智能主要分支【了解】 计算机视觉语音识别文本挖掘/分类机器翻译机器人
1.4 机器学习工作流程
学习目标
了解机器学习的定义知道机器学习的工作流程掌握获取到的数据集的特性 1 什么是机器学习
机器学习是从数据中自动分析获得模型并利用模型对未知数据进行预测。 2 机器学习工作流程 机器学习工作流程总结 1.获取数据2.数据基本处理3.特征工程4.机器学习(模型训练)5.模型评估 结果达到要求上线服务没有达到要求重新上面步骤
2.1 获取到的数据集介绍 数据简介
在数据集中一般 一行数据我们称为一个样本 一列数据我们成为一个特征 有些数据有目标值标签值有些数据没有目标值如上表中电影类型就是这个数据集的目标值 数据类型构成 数据类型一特征值目标值目标值是连续的和离散的数据类型二只有特征值没有目标值 数据分割 机器学习一般的数据集会划分为两个部分 训练数据用于训练构建模型测试数据在模型检验时使用用于评估模型是否有效 划分比例 训练集70% 80% 75%测试集30% 20% 25%
2.2 数据基本处理
即对数据进行缺失值、去除异常值等处理
2.3 特征工程
2.3.1什么是特征工程
特征工程是使用专业背景知识和技巧处理数据使得特征能在机器学习算法上发挥更好的作用的过程。
意义会直接影响机器学习的效果
2.3.2 为什么需要特征工程(Feature Engineering) 机器学习领域的大神Andrew Ng(吴恩达)老师说“Coming up with features is difficult, time-consuming, requires expert knowledge. “Applied machine learning” is basically feature engineering. ”
注业界广泛流传数据和特征决定了机器学习的上限而模型和算法只是逼近这个上限而已。
2.3.3 特征工程包含内容
特征提取特征预处理特征降维
2.3.4 各概念具体解释 特征提取 将任意数据如文本或图像转换为可用于机器学习的数字特征 特征预处理 通过一些转换函数将特征数据转换成更加适合算法模型的特征数据过程 特征降维 指在某些限定条件下降低随机变量(特征)个数得到一组“不相关”主变量的过程 2.4 机器学习
选择合适的算法对模型进行训练具体内容见1.5
2.5 模型评估
对训练好的模型进行评估具体内容见1.6 拓展阅读
完整机器学习项目的流程
3 小结 机器学习定义【掌握】 机器学习是从数据中自动分析获得模型并利用模型对未知数据进行预测 机器学习工作流程总结【掌握】 1.获取数据2.数据基本处理3.特征工程4.机器学习(模型训练)5.模型评估 结果达到要求上线服务没有达到要求重新上面步骤 获取到的数据集介绍【掌握】 数据集中一行数据一般称为一个样本一列数据一般称为一个特征。 数据集的构成 由特征值目标值部分数据集没有构成 为了模型的训练和测试把数据集分为 训练数据70%-80%和测试数据20%-30% 特征工程包含内容【了解】 特征提取特征预处理特征降维 3.特征工程 4.机器学习(模型训练)5.模型评估 结果达到要求上线服务没有达到要求重新上面步骤 获取到的数据集介绍【掌握】 数据集中一行数据一般称为一个样本一列数据一般称为一个特征。 数据集的构成 由特征值目标值部分数据集没有构成 为了模型的训练和测试把数据集分为 训练数据70%-80%和测试数据20%-30% 特征工程包含内容【了解】 特征提取特征预处理特征降维
未完待续 同学们请等待下一期
全套笔记和代码自取在个人博客 https://gitee.com/yinuo112/Technology/tree/master/机器学习/机器学习科学计算库/1.md
感兴趣的小伙伴可以自取哦欢迎大家点赞转发~
