免费网站模板的制作方法,网站改域名,企业管理说白了是干嘛的,做网站多少钱_西宁君博优选首发于知乎专栏知识图谱和智能问答#xff0c;作者为量子胖比特。 背景 历史上#xff0c;多数企业级应用都运行在一个关系型数据库上#xff08;RDBMS#xff09;#xff0c;近年来#xff0c;随着数据存储技术的飞速发展#xff0c;关系型数据库在灵活性和可伸缩性方面… 首发于知乎专栏知识图谱和智能问答作者为量子胖比特。 背景 历史上多数企业级应用都运行在一个关系型数据库上RDBMS近年来随着数据存储技术的飞速发展关系型数据库在灵活性和可伸缩性方面不再处于垄断地位。NoSQL 作为一组迅速崛起的数据存储技术用于解决关系型数据库在多变的应用场景下的性能限制目前包含如下几种类型 键值型如 Redis 或 Riak 列型如 HBase 或 Cassandra 文档型如 MongoDB 或 CouchDB 图型如 Neo4j 或 GraphDB 这些数据库各有自己擅长的领域都在恒昌有着非常广泛的应用场景。尤其是图数据库作为恒昌知识图谱的底层存储方案是多方数据的知识融合及提炼后进行汇聚的场所为恒昌丰富的产品线与数据技术间的承转起着重要作用。 图数据库 简介 图数据库中的“图”取自数学中的一个分支——“图论”。在图论中“图”代表的是一种数据结构形式上其实就是“顶点”和“边”的集合用更为通俗地语言来讲图通常具备如下特征 由节点和边构成 节点可以有属性通常以键值对的方式出现 边可以有方向并总是有一个开始节点和一个结束节点 边也可以有属性。 图数据库就是利用图的特性来对数据进行存储管理并对传统图的概念进行了扩展。越来越成熟的数据模型使得利用事物即“节点”或“实体”及事物之间的联系即“边”或“关系”来对各类业务场景进行抽象变得更加容易。也正因为图数据库基于图论的理论和算法实现相对于关系型数据库它也更擅于处理网状的复杂关系。 图数据库有多种实现它们通常都支持对图数据模型的增、删、改、查CRUD方法并较多地用于事务OLTP系统中被应用系统实时访问。图数据库所涉及的核心技术主要包括两层 底层存储大体上它们可以分为“原生图存储”和“非原生图存储”。原生图存储会针对图的链式提取进行优化在事务性方面会有较强的保障非原生图存储一般会将图数据序列化然后将数据存储到某种特定的 NoSQL 系统比如键值型或列型数据库甚至是其他通用的数据存储中。 处理引擎处理引擎的实现在一定程序上依赖于底层存储。原生图存储模型通常会使用“免索引邻接”这通常是指关联节点在数据库里面是物理意义上指向彼此的而很多采用非原生图存储模型的图数据库系统会选择以分布式的方式实现它们更适用于大数据量下的联机分析处理OLAP。 目前市场上常见的一些图数据库可以参考下图 横轴越往右表示其底层存储更偏向原生图的方式纵轴越往上表示其计算引擎更倾向以原生图的方式来处理数据。 Neo4j 恒昌广泛使用 Neo4j 作为知识图谱底层图数据持久化的方案并基于其优异的事务能力对业务团队提供实时的数据查询能力除此外还在 Titan、Gaffer 等分布式图数据库或计算引擎上有着深入的研究。Neo4j 是目前最成熟的图数据库之一毫无疑问也是最流行的。它无论在事务、性能还是安全性、可靠性等角度都能比拟现存最优秀的数据库系统有些特性甚至更为优秀。下图显示了它在所有图数据库系统中的优势。 Neo4j 提供了对 ACID原子性、一致性、隔离性、持久性的完整支持并且优雅地实现了“免索引邻接”。这使其在处理 N 度关系的时候能够“得心应手”当伴随着附加的处理条件时优势尤为明显。以恒昌客户在 Neo4j 中的数据模型为例来分析一次一度关系的提取任意两个有关联的恒昌客户及他们之间的关系在 Neo4j 中典型的物理存储结构可以参考下图。 将上面的案例简单地扩展一下从一个借款客户出发提取其周边三层关系以内的联系人在恒昌是否有借款以及具体的借款状态是非常有意义的因为从社会网络分析的角度来讲这些信息可以一定程度上刻画该借款人的信用或欺诈风险。目前此类操作可以做到毫秒级响应未优化的测试数据约为25毫秒左右这正是因为 Neo4j 中每一层关系都是物理意义上的指针连接相同的操作在关系型数据库里面需要基于联系人关系表分别进行一级、两级、三级表关联操作并将取得的结果合并、排重这组操作即使进行了有针对性的优化仍旧非常耗时。 图数据库在恒昌的应用 从数据规模来看目前我们的图数据库已经融合了多方数据包括业务系统主要产品线各阶段的数据、用户授权数据等。这些数据形成的实体规模已过亿所形成的关系更是多达数亿。随着恒昌产品越来越丰富以及用户对恒昌平台越来越信任这个数据还在持续高速增长从数据产品来看基于图数据库开发的知识图谱正在发挥着越来越大的作用目前已经上线或待上线的产品覆盖了客户失联修复、反欺诈规则引擎、欺诈团伙调查等近期还会覆盖风险预警、获客等方向。 欺诈团伙调查 数据科学领域有名名言叫“一图胜千言”。图数据库的优势在于能通过“实体”和“关系”这种简单直观的描述方法来表述现实世界中错综复杂的关联关系。然而图数据库呈现信息的方式并不限于简单的节点和边。它可以提供逐层挖掘的方式引导用户逐步深入分析各种关系还可以快速及时地呈现实体之间最新的关系变化为用户积累新鲜的知识和经验也可以清晰地呈现复杂关系间的联络线索为用户判断事件来龙去脉提供有效引导。此处我们仍然以恒昌的客户为例参考下图中的客户徐某因数据安全的原因部分信息作了涂抹并对原有图结构进行了简化如果仅考虑该客户自己填写的信息虽然我们也能看到一度关联信息但完全看不出该结构会有什么问题也无法进行深入调查。 当关联信息得到补充相对于原来的进件联系人补充了同事、邻居、亲属、朋友等关系还基于用户授权数据进行了深度扩展后暂不考虑物品如手机号、银行账号、地址等仅考虑自然人获取徐某二度关系内同时在恒昌有借款行为的用户得到下图基于同样原因数据有涂抹及简化的结果该图每一个圆都代表一位恒昌客户图顶部的状态说明了客户当前所处状态。仔细观察左下角以徐某为中心的四个客户已用红框标出他们刚好是所呈现图的最大完全子图符合图论中团的定义。再看除徐某外的三个客户两个逾期一个被拒。如果徐某是新入图数据库的借款人从数学模型的角度看几乎可以直接判定拒绝。因为符合这种状态的团是欺诈团伙或是组团代办的几率非常大。 到这时工作并未完结如果有需要可以基于图中的关系尝试与几位客户联系以进行深入背景调查证实调查的结论可以融合到图数据库中形成数据闭环直接改善后续自动化预警的结果。 风险事件预警 尽管欺诈团伙调查能取得很不错的效果但因为其可能需要调查员随时联系客户或其周边人群以验证调查员的的推论因此整体成本还是相当高的。为了解决这个问题基于模型的风险事件预期就应声而出了。如果说欺诈团伙调查是主动出击则风险事件预警更像是被动防御。她随时守护着恒昌的客户群体一旦有判定的风险事件就会警告相关方必要的时候可以自动向调查员提请欺诈团伙调查。 风险事件预警会通过模型生成一组类似上述欺诈团伙调查中出现的场景但给每一个场景一个相对低一些的初始置信度后期通过不断地反馈迭代来优化置信度。当一个新客户到来之后首先会将其信息整合到知识图谱中。紧接着该客户会被规则引擎捕捉到规则引擎会基于客户信息从知识图谱中提取一组特征由该特征决定了引擎首先会触发哪些场景而这些场景的结论可能导致规则引擎又触发另外一组场景。在满足特定条件下最终结果输出如果有相应的风险事件被触发则信息会送达相关团队。 风险事件预警最有意思的地方在于一个新客户的到来可能会导致一个早先客户的风险事件被触发。这主要是因为新客户融入到知识图谱中时带进的新数据可能会让图谱中的某些子网的结构发生彻底的改变。我们目前采用一组启发式的算法来扩展新进客户的影响效果显著。这同时也意味着风险事件预警并非只针对贷前风险事件还会对贷后风险事件作为预警。比如触发了某个老客户的潜在逾期风险时就可以引导相关团队提前关注在情况恶化前及时止损。具体的技术细节不再赘述。 失联信息修复 众所周知互联网金融的核心是风险控制。无论属于何种风险最终极的形态就是“人间蒸发”行话即“客户失联”。首先“失联”是要尽量避免的。如果客户奔着欺诈而来那几乎也注定了后续无法联系上姑且让我们称此类失联为“第一类失联”其次“失联”是无法完全避免的主要是因为失联的“成本”很低很多客户受到一点挫折就可能游走在“消失”与“不消失”的边缘。即使客户自身“消失”的意愿不高换个手机号、搬个家、换个公司都有可能导致客户及其联系人完全联系不上让我们称此类除第一类失联之外的为“第二类失联”。原则上如果反欺诈做得好“第一类失联”是不应该出现的。而对于第二类失联则恰恰是图数据库大展身手的地方。 将图数据库应用于失联修复是非常直接而自然的因为图数据库的特点就是其在数据丰富的条件下能非常方便地进行各类关系的提取。恒昌的失联修复项目结合了知识图谱基于图数据库及传统的机器学习技术前者作为修复策略的具体联系方式来源后者作为策略有效性的评估依据。目前我们能做到失联客户实时修复修复专员完成具体操作后会有相应的备注及日志信息这些数据会被实时收集用于改进修复策略。本文仅拿众多策略中较为容易理解的一条来略作说明这条策略主要是从图数据库中提取和失联客户处于同一公司且当前住址与失联客户接近的用户作为修复中间人。虽然是一条简单的策略但深入考虑一下会发现国内有很多规模不小的工厂会吸引周边村子的人去工作而这些村子可能本身规模也不小这样的话修复中间人不见得认识失联人。因此这条简单的策略背后会也会有一个启发式算法通过公司/工厂的规模来调整当前住址需要匹配的粒度比如是到村、到组、还是得具体到门牌相邻。更进一步地如果在此基础之上修复中间人和失联人有过通话记录往来或是有通讯录关联事实的条件远比这个复杂就大幅增加了该修复中间人的置信度甚至可以基于此条件在图数据库查询过程中提前中止直接返回相关结论。以上操作基于图数据库可以将数据一次取出再进行处理基本是毫秒级响应如果触发了提前中止耗时可能更短但如果基于关系型数据库首先会涉及多张业务表的检索、关联其次还可能按照初次处理结果多次连接数据库造成数据库资源的浪费。 获客 这部分主要谈“开源节流”中的“开源”。互联网金融的出现加速暴露了中国长期以来以银行为核心的金融体系形成的弊端。由于银行独特运营特征让资金的融通出现了供给与需求较为严重的错配现象在银行的金融体系中较为较为青睐的贷款客户很多压根都用不着贷款。而对于大多数真正需要借款作为资金周转的人往往很难达到银行所需的借款资质。 图数据库在商品推荐场景下的应用已然非常成熟但主要集中在电商行业。我们采用的方案有两个步骤第一步是自动识别优质客户采用 Bootstrap 方法基于一组种子优质客户进行多次迭代以扩展优质客户。这个过程的特点是除了客户自身属性特征还会基于图数据库提取基于社会网络分析的特征第二步是基于图数据库挖掘较高置信度的优质客户周边人群将满足特定模式条件人作为潜在客户两个步骤各自都有严格的评估标准以保准最终效果。 总结 在实际的应用架构中通常会混合使用多种数据库以利用它们各自的特点来创建一个数据生态系统。对于恒昌而言业务系统的高效及事务特征会让关系型数据库继续出彩大规模的用户授权数据可能会让我们在底层配上分布式的列式存储或键值存储库但回归根本恒昌期望为客户提供优异的财富管理及借款信息咨询与服务就需要优秀的风险控制作保障。而这恰恰也是图数据库能最大程度发挥价值的领域之一。我们长久以来践行将“风险控制”作为平台生命线致力于以先进的金融创新技术护航平台安全以知识图谱等最前沿的高新技术铸风控之盾势必能打造一个安全、高效、用户体验好的互联网金融平台。 关于作者 JXU1RjkwJXU5RTRGJXVGRjBDMjAwOCV1NUU3NCV1NkJENSV1NEUxQSV1NEU4RSV1NkI2NiV1NkM0OSV1NTkyNyV1NUI2NiV1RkYwQyV1NjI4MCV1NjcyRiV1NEVCQSV1RkYwQyV1NzU2NSV1NjFDMiV1NjRDRCV1NEY1QyV1N0NGQiV1N0VERiV1MzAwMSV1NzU2NSV1NjFDMiV1NEU5MiV1ODA1NCV1N0Y1MSV1MzAwMSV1NzU2NSV1NjFDMiV1NjczQSV1NTY2OCV1NUI2NiV1NEU2MCV1MzAwMiV1NzNCMCV1NEUzQSV1NjA1MiV1NjYwQyV1NTIyOSV1OTAxQSV1NjI5NSV1OEQ0NCV1N0JBMSV1NzQwNiV1NjcwOSV1OTY1MCV1NTE2QyV1NTNGOCV1NjI4MCV1NjcyRiV1NEUyRCV1NUZDMyV1NzgxNCV1N0E3NiV1OTY2MiV1OUFEOCV1N0VBNyV1NEUxMyV1NUJCNiV1RkYwQyV1NzdFNSV1OEJDNiV1NTZGRSV1OEMzMSV1NTZFMiV1OTYxRiV1OEQxRiV1OEQyMyV1NEVCQSV1MzAwMiV1ODA1NCV1N0NGQiV1NjVCOSV1NUYwRiV1RkYxQSUyMCUyMGVtYWlsJTNBJTIwJTIwcEBjb29saWt0YXMuY29tJTIwJTIwd2VjaGF0JTNBJTIwcHRyc3h1 OpenKG.CN 中文开放知识图谱简称OpenKG.CN旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。 点击阅读原文进入 OpenKG 博客。
