怎么在百度做网站,08影院Wordpress,深圳网站建设联雅网络,网络规划设计师证书有什么用目录
一、分值分布
二、重点知识梳理
1、引言
1.1 业务驱动因素
1.2 原则
1.3 基本理念
2、活动
2.1 定义大数据战略和业务需求
2.2 选择数据源
2.3 获得和接收数据源
2.4 制定数据假设和方法
2.5 集成和调整数据进行分析
2.6 使用模型探索数据
2.7 部署和监控
…目录
一、分值分布
二、重点知识梳理
1、引言
1.1 业务驱动因素
1.2 原则
1.3 基本理念
2、活动
2.1 定义大数据战略和业务需求
2.2 选择数据源
2.3 获得和接收数据源
2.4 制定数据假设和方法
2.5 集成和调整数据进行分析
2.6 使用模型探索数据
2.7 部署和监控
3、工具
3.1 大规模并行处理MPP
3.2 基于分布式文件的数据库
4、方法
4.1 解析建模
4.2 大数据建模
5、实施指南
5.1 战略一致性
5.2 就绪评估/风险评估
6、大数据和数据科学治理 一、分值分布 CDGA4分4单选 CDGP10分2单选 4多选 考点 业务驱动和原则 基本概念 活动 工具和技术
二、重点知识梳理
1、引言
语境关系图: 1.1 业务驱动因素
业务驱动因素期望抓住从多种流程生成的数据集中发现的商机是提升一个组织大数据和数据科学能力的最大业务驱动力。
1.2 原则
原则组织应仔细管理与大数据源相关的元数据以便对数据文件及其来源和价值进行准确的清单管理。
1.3 基本理念
数据科学
组成部分 1数据挖掘2统计分析3机器学习依赖 1丰富的数据源。2信息组织和分析。3信息交付。4展示发现和数据洞察。数据科学的过程 1定义大数据战略和业务需求。2选择数据源。3采集和提取数据资料。4设定数据假设和方法。5集成和调整数据进行分析。6使用模型探索数据。7部署和监控。
大数据
定义3V 1数据量大Volume。大数据的量非常大通常大于100TB在1PB1EB范围内。2数据更新快Velocity。指数据被捕获、生成或共享的速度。大数据通常实时地生成、分发及进行分析。3数据类型多样/可变Variety/Variability。指抓取或传递数据的形式。大数据需要多种格式储存。通常数据集内或跨数据集的数据结构是不一致的。4数据黏度大Viscosity。指数据使用或集成的难度比较高。5数据波动性大Volatility。指数据更改的频率以及由此导致的数据有效时间短。6数据准确性低Veracity。指数据的可靠程度不高。大数据架构 数据湖数据湖是一种可以提取、存储、评估和分析不同类型和结构海量数据的环境可供多种场景使用。
数据湖可提供的场景 1数据科学家可以挖掘和分析数据的环境。2原始数据的集中存储区域只需很少量的转换如果需要的话。3数据仓库明细历史数据的备用存储区域。4信息记录的在线归档。5可以通过自动化的模型识别提取流数据的环境 数据湖可以作为Hadoop或其他数据存储系统、集群服务、数据转换和数据集成等数据处理工具的一种复合配置来实施。这些处理程序使跨基础架构的分析简化软件变得更加便利从而使配置结合在起。 数据湖的风险在于它可能很快会变成数据沼泽——杂乱、不干净、不一致。为了建立数据湖中的内容清单在数据被摄取时对元数据进行管理至关重要。为了理解数据湖中的数据是如何关联和连接的数据架构师或者数据工程师通常使用单一键值或其他技术语义模型、数据模型等科学家和其他可视化开发人员通过这些技术数据即可知道如何使用数据湖中存储的信息 基于服务的架构Services-Based ArchitectureSBA为一种立即提供如果不是完全准确或完整数据的方法并使用相同的数据源来更新完整、准确的历史数据集。
SBA组件 1批处理层Batch Layer。数据湖作为批处理层提供服务包括近期的和历史的数据。2加速层Speed Layer。只包括实时数据。3服务层Serving Layer。提供连接批处理和加速层数据的接口 机器学习机器学习Machine Learning探索了学习算法的构建和研究它可以被视为无监督学习和监督学习方法的结合
无监督学习通常被称为数据挖掘 算法类型基于找到的那些隐藏的规律数据挖掘监督学习是基于复杂的数学理论特别是统计学、组合学和运筹学。 算法类型基于通用规则如将SPAM邮件与非SPAM邮件分开。强化学习即没有通过教师的认可就实现了目标优化如驾驶车辆 算法类型基于目标的实现如在国际象棋中击败对手。
语义分析媒体监控和文本分析是从大量非结构化或半结构化数据如事务数据、社交媒体、博客和Web新闻网站中检索并获得见解的自动化方法用于感知人们对品牌、产品、服务或其他类型主题的感觉和看法。使用自然语言处理NLP分析短语或句子、语义察觉情绪并揭示情绪的变化以预测可能的情景
数据和文本挖掘数据挖掘Data mining是一种特殊的分析方法它使用各种算法揭示数据中的规律。它最初是机器学习的一个分支属于人工智能的一个子领域。
◼ 数据挖掘Data mining技术 1剖析Profiling。2数据缩减Data reduction。3关联Association。4聚类Clustering。5自组织映射Self-organizing maps。
预测分析预测分析Predictive Analytics是有监督学习的子领域用户尝试对数据元素进行建模并通过评估概率估算来预测未来结果。预测分析深深植根于数学特别是统计学与无监督学习拥有许多相同的组成部分对预期预测结果进行测量时差异是可控的。 基于可能事件购买、价格变化等与可变因素包括历史数据的概率模型开发。 预测模型的最简单形式是预估Forecast。 规范分析Prescriptive Analytics它对将会影响结果的动作进行定义而不仅仅是根据已发生的动作预测结果。规范分析预计将会发生什么何时会发生并暗示它将会发生的原因。
运营分析Operational Analytics运营BI或流式分析是从运营过程与实时分析的整合中产生的。运运营分析包括跟踪和整合实时信息流根据行为预测模型得出结论并触发自动响应和警报。
数据可视化可视化Visualization是通过使用图片或图形表示来解释概念、想法和事实的过程。数据可视化通过视觉概览如图表或图形来帮助理解基础数据。数据可视化压缩并封装特征数据使其更易于查看。通过这种方式有助于发现商机识别风险或凸显信息。
数据混搭Data Mashups将数据和服务结合在一起以可视化的方式展示见解或分析结果。
2、活动
2.1 定义大数据战略和业务需求
大数据战略的评估标准 1组织试图解决什么问题需要分析什么。2要使用或获取的数据源是什么。3提供数据的及时性和范围。4对其他数据结构的影响以及与其他数据结构的相关性。5对现有建模数据的影响。
2.2 选择数据源
需要了解以下内容 1数据源头。2数据格式。3数据元素代表什么。4如何连接其他数据。5数据的更新频率。要审查数据源和创建这些源的流程 1基础数据。2粒度。3一致性。4可靠性。5检查/分析新数据源。
2.3 获得和接收数据源
获取时需要捕获有关源的关键元数据如来源、大小、时效性和相关内容的额外知识。迭代地识别当前数据资产基础和这些数据源的差距使用分析、可视化、挖掘或其他数据科学方法探索这些数据源以定义模型算法输入或模型假设。在整合数据之前应先评估数据的质量。
2.4 制定数据假设和方法
制订数据科学解决方案需要构建统计模型找出数据元素和数据集内部以及二者之间的相关性和趋势。模型的效果取决于输入数据的质量和模型本身的健全性。
2.5 集成和调整数据进行分析
准备用于分析的数据包括了解数据中的内容、查找各种来源的数据间的链接以及调整常用数据以供使用。
2.6 使用模型探索数据
1.填充预测模型。需要使用历史信息预先填充配置预测模型这些信息涉及模型中的客户、市场、产品或模型触发因素之外的其他因素。2.训练模型。需要通过数据模型进行训练。训练包括基于数据重复运行模型以验证假设将导致模型更改。训练需要平衡通过针对有限数据文件夹的训练避免过度拟合。3.评估模型。将数据放入平台并准备分析后数据科学就开始了。针对训练集进行模型构建、评估和验证。4.创建数据可视化。必须满足与模型目的相关的特定需求每个可视化应该能够回答一个问题或提供一个见解。
2.7 部署和监控
满足业务需求的模型必须以可行的方式部署到生产中以获得持续监控。
步骤 1.揭示洞察和发现。洞察应与行动项目相关联这样组织才能从数据科学工作中受益。2.使用附加数据源迭代。数据科学是一个迭代的过程
3、工具
改变了我们查看数据和信息方式的技术
1数据库内的高级分析。2非结构化数据分析HadoopMapReduce。3分析结果与操作系统的集成。4跨多媒体和设备的数据可视化。5链接结构化和非结构化信息的语义。6使用物联网的新数据源。7高级可视化能力。8数据扩展能力。9技术和工具集的协作。
3.1 大规模并行处理MPP
大规模并行处理MPP的出现是大数据和数据科学的首批推动者之一因为它提供了在相对较短的时间内分析巨量信息的手段 大规模并行处理MPP的无共享数据库技术已成为面向数据科学的大数据集分析标准平台。基于分布式文件的数据库。数据库内算法。大数据云解决方案。统计计算和图形语言。数据可视化工具集。 3.2 基于分布式文件的数据库
基于文件的解决方案中使用的模型称为MapReduce。该模型有三个主要步骤
1映射Map。识别和获取需要分析的数据。2洗牌Shuffle。依据所需的分析模式组合数据。3归并Reduce。删除重复或执行聚合以便将结果数据集的大小减少到需要的规模。
4、方法
4.1 解析建模
解析模型与不同的分析深度相关联 1描述性建模以紧凑的方式汇总或表示数据结。2解释性建模是数据统计模型的应用主要是验证关于理论构造的因果假设。预测分析的关键是通过训练模型来学习学习方法的效果取决于它在测试集与训练集相互独立上的预测能力。
4.2 大数据建模
对数据仓库进行物理建模的主要驱动因素是为查询性能而启用数据填充。
5、实施指南
管理数据仓库数据的许多一般规则适用于管理大数据
确保数据源可靠具有足够的元数据以支持数据使用管理数据质量确定如何整合来自不同源的数据以及确保数据安全且受到保护
实施大数据环境的差异与一组未知问题有关
如何使用数据哪些数据有价值需要保留多长时间
5.1 战略一致性
战略交付成果应考虑管理以下要素
1信息生命周期。2元数据。3数据质量。4数据采集。5数据访问和安全性。6数据治理。7数据隐私。8学习和采用。9运营。
5.2 就绪评估/风险评估
评估与关键成功因素相关的组织准备情况具体包括
1业务相关性。2业务准备情况。3经济可行性。4原型。5可能最具挑战性的决策将围绕数据采购、平台开发和资源配置进行。6数字资料存储有许多来源并非所有来源都需要内部拥有和运营。7市场上有多种工具和技术满足一般需求将是一个挑战。8保护具有专业技能的员工并在实施过程中留住顶尖人才可能需要考虑替代方案包括专业服务、云采购或合作。9培养内部人才的时间可能会超过交付窗口的时间。
6、大数据和数据科学治理
解决的问题
1寻源。来源有哪些什么时候接入源什么是特定研究的最佳数据来源。2共享。组织内部和外部要签订的数据共享协议和合同、条款和条件。3元数据。数据在源端意味着什么如何解释输出端的结果。4丰富。是否丰富数据如何丰富数据以及丰富数据的好处。5访问。发布什么向谁发布如何以及何时发布。企业数据视图应该推动数据处理决策。
数据科学和可视化标准最佳实践是建立一个定义和发布可视化标准和指南的社区并在指定的交付方法中审查工件这对于面向客户和监管的内容尤为重要。
标准可能包括 1分析范例、用户团体、主题域的工具标准。2新数据的请求。3数据集流程标准。4采用中立的、专业的陈述过程避免产生有偏见的结果并确保所有要素都以公平一致的方式完成包括 ①数据包含和排除。②模型中的假设。③结果统计有效性。④结果解释的有效性。⑤采用适当的方法。
元数据元数据需要作为数据提取的一部分进行谨慎管理否则数据湖将迅速成为数据沼泽。
数据质量大多数成熟的大数据组织使用数据质量工具集扫描数据输入源以了解其中包含的信息。大多数高级数据质量工具集都提供了一些功能使组织能够测试假设并构建有关其数据的知识。例如
1发现。信息驻留在数据集中的位置。2分类。基于标准化模式存在哪些类型的信息。3分析。如何填充和构建数据。4映射。可以将哪些其他数据集与这些值匹配。
度量指标
1.技术使用指标。2.加载和扫描指标。3.学习和故事场景。 常用的测量方法包括 1已开发模型的数量和准确性。2已识别的机会中实现的收入。3避免已识别的威胁所降低的成本。
