怎么做磁力网站,搜索排名怎么做,手机上怎么查看网站设计,漯河专业做网站公司摘要
本文以阿里金融为引子简要地介绍了大数据的商业价值、大数据分析的目的和大数据技术手段和工具#xff1b;再介绍了海量数据的分类和3类大数据分析平台及各类平台对比#xff1b;接着介绍了如何利用大数据处理技术处理金融行业中客户管理、营销管理和风险管理方面的海量…摘要
本文以阿里金融为引子简要地介绍了大数据的商业价值、大数据分析的目的和大数据技术手段和工具再介绍了海量数据的分类和3类大数据分析平台及各类平台对比接着介绍了如何利用大数据处理技术处理金融行业中客户管理、营销管理和风险管理方面的海量数据最后提出了大数据处理的核心和金融行业在大数据背景下的发展要求。
关键词金融大数据分析
1. 引言
有人把2013年定义为大数据元年——据IBM的某项调查已经有28%的企业开始做大数据的试验有47%的企业已经开始做大数据的相关活动[1]。大数据的应用在许多企业已经实现了突破性的进展。其中其最具代表性的突破要数阿里金融的崛起。
阿里金融于2010年4月拿到了小额信贷牌照截至2012年6月底已为超过12.9万家小微企业、个人创业者提供融资服务贷款总额超过260亿元[5]到2012年底阿里金融的阿里微贷企业已超20万家[1]。
对于数据在阿里金融中的地位阿里金融总裁胡晓明只用一句话来表达数据是第一生产力[2]。
就阿里金融而言利用大数据和云计算等互联网技术和思想加上西方的管理理念所形成的的风险管理能力构成了阿里金融最核心的能力。
因此大数据时代下数据可以说是金融行业的根在整体中最具养分。
利用大数据这种新型的信息处理方式通过收集、处理庞大而复杂的数据信息从中获得知识和洞见提升能力探索并发现新的商机、对客户和市场进行新的洞察实现业务创新和流程创新这就是大数据的价值。
同时在近年来社交化网络大发展的背景下金融行业中各企业所面临的内外部环境在不断改变影响企业决策和行为的数据也跟着改变这些企业面临着“大交易数据”和“大交互数据”的双重数据环境[1]。大数据分析的目的是要实现这两类数据的集成与融合增强企业的洞察力。
目前大数据的技术手段和工具的不断增强是很多大数据的分析已成为可能。比如说音频处理技术客户打电话到客服中心我们已经有技术手段将音频直接转换成文本并从文本中截取关键词来进行分析。再比如说华尔街有一家名为“德温特资本市场”的公司通过分析全球3.4亿微博账户的留言来判断民众的情绪。该公司发现高兴时民众会买股票而焦虑时就会抛售股票。他们就依此买卖股票2012年第一季度就获得了7%的收益率。所有这些技术手段的应用都可以为企业带来极大的市场空间赢得巨大的经济利益[3]。
2. 大数据分析的解决方案
2.1 海量数据的分类
在大数据时代企业常常面临三种类型的海量数据它们所要求的分析手段不尽相同[1]如图2.1所示。图 2.1 海量数据类型维度
纵向表示数据类型横向表示数据形态。纵向数据类型来分企业存在结构化数据、半结构化数据和非结构化数据横向按数据形态来分企业存在静态数据和动态数据。通过这两个维度的组合我们把企业的海量数据归纳成三类
(1) 静态海量结构化数据。
比方说人事系统、财务系统、ERP系统、CRM系统等。这类数据往往可以通过构建“企业级数据仓库平台”来进行数据整合通过商业智能应用来实现业务报表、决策分析和数据挖掘。
2) 静态海量非结构化数据。
比方说文本、报告、音频、视频、社交网络、邮件等。这类数据往往需要企业建立一个基于Hadoop的“非结构化数据平台”实现非结构化数据的存储进而实现企业搜索、文本分析和内容挖掘。
动态海量流数据。网络点击率、日志文件、实时传感信息、实时路况信息实时行情信息等。这类信息是流动着的像流水一样如果不加以利用它就流过去了。这类数据可以通过建立流数据平台实现实时业务监测、实时营销等应用。
这三种平台需要不同的分析方法。传统的数据仓库通过商业智能应用实现业务报表、决策分析和满足监管需求。非结构化数据平台通过自然语言处理、文本分析和内容挖掘实现舆情分析、声誉度分析、精准营销等应用。流数据平台通过实时的流数据处理实现实时欺诈监测、实时产品服务、实时质量控制等应用。
一个企业如果要进行业务创新往往会从尚未开发的非结构化数据和流数据中受到启发非结构化数据和流数据的每一个业务应用都是一种业务创新或流程创新[1]。这三种技术和分析能力的结合可以突破传统的分析模式挖掘新的业务亮点和商机实现产品创新、流程创新、服务创新和客户体验创新进而实现管理创新。
2.2 大数据分析相关系统
2.2.1 Hadoop
Hadoop是效仿Google的FileSystem和MapReduce而实现的一套海量数据分布式处理的开源软件框架被广泛部署运用于雅虎、Facebook等互联网企业。它由两部分组成一是HDFS分布式文件系统另一部分是MR框架MapReduce Framework。
HDFS是MapReduce的数据存储来源。HDFS按照一定粒度的数据分块来划分文件并将这些数据分块分散存放在集群中的不同节点为MapReduce提供并行计算的数据存储。同时HDFS利用多副本存放策略来保障数据的可靠性、可用性并提供较高的数据输入输出吞吐率。MapReduce框架是进行海量数据并行计算的框架由一个Master节点和多个Worker节点构成。
Master节点用于任务划分、任务调度而Worker节点用于接收来自于Master节点分配的Map或Reduce任务并执行这些任务同时将任务的状态回馈给Master节点。Hadoop通过计算移动到急群众的各个节点在各个节点进行并行计算任务Map阶段产生结果后将集群中各节点的数据汇总反馈至客户端Reduce阶段。
2.2.2 Hive
Hive是Facebook开源的基于Hadoop的数据仓库平台。通过Hive可以方便地进行海量数据提取、转换加载ETL工作。Hive定义了一个类似于SQL的查询语言HQL能够将用户编写的SQL转化为相应的MapReduce程序。当然用户也可以自定义Mapper和Reducer来完成更为复杂的分析工作。作为互联网领域应用最为广泛的开源数据仓库基于MapReduce的Hive在扩展性和容错性方面有强大的优势其前景被业界一直看好。但是相比传统并行数据仓库Hive在存储引擎支持、执行引擎高晓华以及多样化接口等方面有待进一步发展。
2.2.3 Pig
Pig是一个基于Hadoop的大规模数据分析平台使程序员可以更加方便地进行大规模数据处理。Pig Latin是一门吸收了SQL语法的过程式语言。它在保存了过程式语言灵活性的同时很大程度上吸纳了声明式语言易于进行数据处理描述的特点。该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算提供了一个简单的操作和编程接口。
2.2.4 大数据分析平台小结
综上所述目前广泛使用的开源海量数据处理系统大都以Hadoop作为数据存储和并行处理的基础框架——HDFS提供海量数据存储平台MR框架提供海量数据并行计算模型。Hive和Pig都是在Hadoop之上提供了类SQL的解决方案这大大减少了并行处理程序开发的难度使用户不必具备较强的程序编写能力进而更多地关注业务逻辑。以上海量数据处理系统在高可用性、高容错、扩展性方面都提供了很好的支持。三者具体比较如表2.1。表 2.1 大数据分析平台比较
3. 标题金融行业下的大数据处理
随着银行业务的载体与社交媒体、电子商务的融合越来越紧密仅对原有15%的结构化数据进行分析已经不能满足发展的需求。企业需要借助大数据战略打破数据边界囊括85%的大数据分析来构建更为全面的企业运营全景视图。以科技引领业务发展未来银行也同样需要借助由大数据构建的企业经营全景视图来进行风险管理、产品营销、业务创新等活动进而寻找最优的模式支持商业决策[3]。下面我们来阐述大数据处理技术在银行业应用的几个场景。
3.1 客户管理
随着大数据的大量涌现尤其是在社交网络的背景下服务渠道不应仅局限于传统的银行渠道而应整合新的客户接触点即社交媒体网站等这种趋势已经变得日益清晰。银行业发展战略也逐步从以产品为中心转向以客户为中心客户成为银行发展的重要驱动力[3]。银行不仅仅销售产品和服务而且还应为用户提供完美的多渠道体验成为真正以客户为中心的组织。了解客户到底是谁以及客户最真实的需求成为银行经营者最为关注的问题。
银行可以通过大数据分析平台接入客户通过社交网路、电子商务、终端设备等媒介产生的非结构化数据构建全面的客户视图。根据用户行为对用户进行聚类分析进而可以有效地甄别出优质客户、潜力客户以及流失客户。
事例一花旗银行工作人员可以利用大数据分析获取银行客户信息并且分析客户的下一步需求进而向客户营销相关金融产品。比如某人为自己的孩子开办了一款信用卡当孩子上大学后就会分析这位客户所需要的金融产品。如果之后家长有装修厨房的计划那么花旗银行的工作人员会向这位家长推荐适合装修的款贷满足口各方面的潜在需求。
事例二客户流失分析。借助大数据平台搜集到客户行为记录通过对已流失客户的行为进行分析找到客户流失发生时的关键路径进而能够利用流失客户的行为模式有效定位有流失倾向的客户以便工作人员能够在客户流失前进行挽回工作。
3.2 营销管理
借助大数据分析平台通过对形式多样的用户数据用户消费数据、浏览记录、购买路径等进行挖掘、追踪、分析将不同客户群体进行聚类有助于获取用户的消费习惯、风险收益偏好等特征信息。从而根据不同客户特性打造个性化的产品营销服务方案将最适合的产品服务推介给最需要的客户。以主动营销和个性化营销打破传统无差异的、被动的产品服务营销方式。大数据的有效使用不仅可以提升银行产品的精确营销水平而且可以提升客户对银行服务的认可程度以及客户经理在营销过程中的专业程度[3]。
例如银行针对不同的客户分类推荐相应的理财产品根据客户的购买习惯和风险偏好进行产品的理财产品根据客户的购买习惯和风险偏好进行产品组合营销根据客户的产品清单和浏览记录进行路径分析主动推送关联产品营销等真正做到个性化的主动营销服务。
在银行产品同质化较为严重的现状下谁能首先运用“大数据”进行灵活的营销管理谁就有更多的机会在竞争中拔得头筹。
3.3 风险管理
随着银行业务的快速发展银行经营者必须有效地甄别风险、防范风险和控制风险。风险管理成为银行稳健发展至关重要的一环。社会化媒体的互动、实时的传感器数据、电子商务和其他新的数据源正给银行经营带来一系列的挑战。仅仅借助传统的解决方案无法全面进行风险管理。大数据分析帮助银行了解客户的自然属性和行为属性结合客户行为分析、客户信用度分析、客户风险分析以及客户的资产负债状况建立完善的风险防范体系[4]。
事例Wonga是英国一家小额贷款公司他们利用海量数据挖掘算法来做一些贷款业务。Wonga对过去客户的各种碎片化信息进行数据获取和整理用大量的数据串成了客户特征的全貌同时根据不良贷款等风险信号不断完善调整模型有效控制风险。如今它已获得了5亿美金的年利润其风险管理能力也获得业界的认可。
4. 小结
4.1 大数据正在改造企业
大数据的本质是利用企业内部信息并结合新的数据类型来创造价值。它将非结构化信息这种新的数据源带进企业已有的核心数据中创建洞察。看看大数据的先行者
在零售业沃尔玛将天气数据加入它的配送算法对其配送路线进行建模以优化和改善它的物流。这样一来沃尔玛能在天气模式改变之前在顾客涌入商店之前保证所有商品能及时送达商店[4]。
在纽约市警方已经在整个城市安装了交通摄像头这些摄像头可以读取机动车牌照。由此他们将识别的牌照与车管局的数据进行实时匹配从而识别被盗车辆并在第一时间让其实力街道接受检查。因为大多数的罪犯都是用偷来的汽车作业[4]。
大数据技术现在已有能力、开创性地获取和处理上述诸如天气数据、图像信息等这些从未拿来使用和分析的新的数据类型和海量数据。企业可以利用这些新的数据类型和非结构化的数据多方面建立新的商业洞察。企业需要拥抱这种改变从大数据中挖掘新的商机并建立新的商业模式。
4.2 大数据的核心是数据分享
数据分析和挖掘说得多了便存在一种想法——数据分析和挖掘是大数据时代的核心。然而阿里巴巴集团主席兼CEO马云却说大数据时代的核心不是分析数据而是分享数据并且是分享得越多越值钱“如果只是停留在数据分析那还是相当于拿冲锋枪当棍子使”[2]。美国的整个金融系统都有一个联网体系所有人都在享受其中的价值。
4.3 金融行业在大数据背景下的发展要求
大数据技术的发展带来企业经营决策模式的转变驱动着行业变革衍生出新的商机和发展契机[2]。驾驭大数据的能力已被证实为领军企业的核心竞争力这种能力能够帮助企业打破数据边界绘制企业运营全景视图做出最优的商业决策和发展策略。
金融行业在大数据浪潮中要以大数据平台建设为基础夯实大数据的收集、存储、处理能力重点推进大数据人才的梯队建设打造专业、高效、灵活的大数据分析团队。不断提升企业智商挖掘海量数据的商业价值从而在数据新浪潮的变革中拔得头筹赢得先机。
参考文献
[1]张平. 大数据如何在企业落地生根——访 IBM 大中华区全球企业咨询部谢国忠[J]. 企业管理, 2013, 7: 046.
[2]王雪玉. 互联网挑战银行之一: 阿里金融[J]. 金融科技时代, 2013 (5).
[3]李蹯, 贾鸿飞. 大数据时代银行业的机遇与挑战[J]. 中国金融电脑, 2012 (12): 25-29.
[4]谢国忠.大数据正在改造企业.企业管理2013,7:110.
[5]张毅菁. 金融业面对大数据的机遇与挑战[J]. 中国外资, 2013 (18): 46-47.
