天津武清做淘宝网站,无线网络建设方案,单页网站排名优化,购物网站后台订单处理流程分组是数据库的常见运算#xff0c;无论数据如何准备#xff0c;通常都需要将所有数据遍历。建立索引这时是不起作用的#xff0c;存储格式才是决定遍历效率的主要因素。数据库中数据的存放虽然是二进制格式的#xff0c;但普遍IO性能差#xff0c;库内遍历快#xff0c;…分组是数据库的常见运算无论数据如何准备通常都需要将所有数据遍历。建立索引这时是不起作用的存储格式才是决定遍历效率的主要因素。数据库中数据的存放虽然是二进制格式的但普遍IO性能差库内遍历快外部取数都很慢。下面用Oracle来举个例子数据如下 ORDERID CLIENT SELLERID AMOUNT ORDERDATE NOTE1 287 47 5825 2013-05-31 gafcaghafdgie f ci…2 89 22 8681 2013-05-04 gafcaghafdgie f ci…3 47 67 7702 2009-11-22 gafcaghafdgie f ci…4 76 85 8717 2011-12-13 gafcaghafdgie f ci…5 307 81 8003 2008-06-01 gafcaghafdgie f ci…6 366 39 6948 2009-09-25 gafcaghafdgie f ci…7 295 8 1419 2013-11-11 gafcaghafdgie f ci…8 496 35 6018 2011-02-18 gafcaghafdgie f ci…9 273 37 9255 2011-05-04 gafcaghafdgie f ci…10 212 0 2155 2009-03-22 gafcaghafdgie f ci……实际数据量已经超过了数据库的最大内存数据总量为 25GOracle 可用的最大内存为 12G。使用Oracle的Parallel Execution来完成分组汇总SQL大概这样select /* Parallel(8) */ client,sellerid,count(orderid),sum(amount) from orders group by client,sellerid这个SQL执行耗时210秒。同样的环境、同样的数据用集算器来处理耗时约65秒代码如下后者速度快是因为使用了集算器集文件二进制文件作为数据存储正如之前提到的数据存储格式直接影响遍历的性能关于存储格式、特点、性能排名如下表存储格式特点性能排名二进制占用空间最小解析最快1文本文本的好处是通用但性能不好2数据库也是二进制但普遍IO性能差库内遍历快外部取数都很慢3处理大量数据时性能优化的第一步往往是挑选合适的存储格式。数据库的存储十分宝贵为了节约存储提高运算性能可将单纯用作OLAP场景的那些数据搬到数据库外部使用更高性能的存储格式存放数据。感兴趣可以参考性能优化教案—遍历集算器还很容易嵌入到Java应用程序中Java如何调用SPL脚本有使用和获得它的方法。关于集算器安装使用、获得免费授权和相关技术资料可以参见如何使用集算器。
