重庆营销型网站建设沛宣,网站备案代码如何加到,免费下载ps素材网站,dede模板 展柜网站源码贪心算法 回溯算法 分治算法 动态规划
MapReduce本质就是分治算法#xff0c;是Google大数据处理的三驾马车之一#xff0c;另外两个是GFS和Bigtable。它在倒排索引#xff0c;PageRank计算#xff0c;网页分析等搜索引擎相关的技术中都有大量的应用。 MapReduce 框架只是…贪心算法 回溯算法 分治算法 动态规划
MapReduce本质就是分治算法是Google大数据处理的三驾马车之一另外两个是GFS和Bigtable。它在倒排索引PageRank计算网页分析等搜索引擎相关的技术中都有大量的应用。 MapReduce 框架只是一个任务调度器底层依赖 GFS 来存储数据依赖 Borg 管理机器。它从 GFS 中拿数据交给 Borg 中的机器执行并且时刻监控机器执行的进度一旦出现机器宕机、进度卡壳等就重新从 Borg 中调度一台机器执行。
一如何理解分治算法
1分治算法的核心思想其实就是四个字分而治之将原问题划分成n个规模较小并且结构与原问题相似的子问题递归地解决这些子问题然后在合并其结果就得到原问题的解。
2分治算法的定义类似于递归但区别在于分治算法是一种处理问题的思想递归是一种编程技巧。
3分治算法一般都比较适合递归来实现分治算法的递归实现中每一层递归都会涉及这样的三个操作 分解将原问题分解成一系列子问题 解决递归地求解各个子问题若子问题足够小则直接求解 合并将子问题的结果合并成原问题
4分治算法能解决的问题一般需要满足下面这几个条件 原问题与分解成的小问题具有相同的模式 原问题分解成的子问题可以独立求解子问题之间没有相关性这一点是分治算法跟动态规划的明显区别 具有分解终止条件即当问题足够小时可以直接求解。 可以将子问题合并成原问题而这个操作的复杂度不能太高否则就起不到减小算法总体复杂度的效果。
二分治算法应用举例分析
假设有n个数据期望数据从小到大排序那完全有序的数据的有序度就是n(n-1)/2。逆序度等于0相反倒序排序的数据的有序度就是0逆序度是n(n-1)/2。除了这两中极端情况外我们通过计算有序对或逆序对的个数来表示数据的有序度或逆序度。
现在问如何编程求出数组中的数据有序对个数或逆序对个数 1最简单的办法拿每个数字和他后面的数字比较看有几个比它小。将比它小的数字个数记作k通过这样的方式把每个数字都考察一遍后对每个数字对应的k值求和最后得到的总和就是逆序对个数。但时间复杂度是O(n^2)。 2用分治算法套用分治的思想将书中分成前后两半A1和A2分别两者中的逆序对数然后在计算A1和A2之间的逆序对个数k3。那整个数组的逆序对个数就是k1k2k3。 要快速计算出两个子问题A1和A2之间的逆序对个数需要借助归并排序算法。 归并排序算法有个非常关键的操作即将两个有序的小数组合并成一个有序的数组。实际上在合并的过程中就可以计算这两个小数组的逆序对个数。每次合并操作都计算逆序对个数把这些计算出来的逆序对个数求和就是这个数组的逆序对个数。 private int num 0; // 全局变量或者成员变量public int count(int[] a, int n) {num 0;mergeSortCounting(a, 0, n-1);return num;
}private void mergeSortCounting(int[] a, int p, int r) {if (p r) return;int q (pr)/2;mergeSortCounting(a, p, q);mergeSortCounting(a, q1, r);merge(a, p, q, r);
}private void merge(int[] a, int p, int q, int r) {int i p, j q1, k 0;int[] tmp new int[r-p1];while (iq jr) {if (a[i] a[j]) {tmp[k] a[i];} else {num (q-i1); // 统计p-q之间比a[j]大的元素个数 !!!! 统计tmp[k] a[j];}}while (i q) { // 处理剩下的tmp[k] a[i];}while (j r) { // 处理剩下的tmp[k] a[j];}for (i 0; i r-p; i) { // 从tmp拷贝回aa[pi] tmp[i];}
}三分治思想在海量数据处理中的应用
假设给10GB的订单文件按照金额排序这样一个需求看似是一个简单的排序问题但是因为数据量大有10GB而我们的机器的内存可能只有2,3GB这样子无法一次性加载到内存也就无法通过单纯地使用快排归并等基础算法来解决。
要解决这种数据量大到内装不下的问题我们就可以利用分治的思想将海量的数据集合根据某种方法划分为几个小的数据集合每个小的数据集合单独加载到内存来解决然后在将小数据集合合并成大数据集合实际上利用这种分治的处理思路不仅能克服内存的限制还能利用多线程或者多机处理加快处理的速度。
采用分治思想的算法快排、合并排序、桶排、基数排序、二分查找、递归树、数据库分片、MapReduce
创新的源泉来自对事物本质的认识无数优秀架构设计的思想来源都是基础的数据结构和算法。
笔记整理来源 王争 数据结构与算法之美
