千秋网络是家西安做网站的公司,网站内容栏目,佛山网站建设原创,娄底网站建设方案1. 交易数据特点
1.1 数据量极大
交易系统的数据量特大#xff0c;主要来自以下几种类型的数据。
1.1.1 行情
行情是交易系统最为重要的数据#xff0c;交易就是在不断变化的行情中寻找时机来实现盈利的。海量的行情主要分成两种#xff0c;一种是tick数据#xff08;也…1. 交易数据特点
1.1 数据量极大
交易系统的数据量特大主要来自以下几种类型的数据。
1.1.1 行情
行情是交易系统最为重要的数据交易就是在不断变化的行情中寻找时机来实现盈利的。海量的行情主要分成两种一种是tick数据也叫逐笔行情例如彭博行情数据它会将每一笔交易的行情都发布出来这种数据量巨大一天就有4亿多条数据另一种是每隔500ms发布一次行情这种相对来说数据量少很多一天大概1亿条左右。再加上各家公司会根据需求对行情进行进一步的加工如聚合多种行情形成的聚合行情。数据量一天就会达到数十亿条。
对于行情而言QPS基本保持在3万/s以上高峰时段国内交易时间9:00 - 11:30左右国外交易时间21:.00 - 23:00的QPS能达到10万/s。
1.1.2 报价
作为做市商需要根据行情通过一定的算法如跟随当前行情报价、根据设定的差值及当前行情报价根据行情计算曲线然后报价对外报价。由于行情实时变动导致报价的数据量和QPS也特别高。
1.1.3 权限
由于交易系统要求高安全性因此权限的控制粒度必须特别细加上场景的多样性导致权限数据量也很大。
1.1.4 监控
监控数据主要包括中间件的监控数据服务实例的内存和CPU监控数据等数据量和QPS非常高。
1.2 延时要求极低
行情报价交易权限相关的延时必须极低监控 1.3 数据质量根据场景差异明显
例如行情实时行情延时要求在3ms以内对于历史行情如果三年内的行情延时可以在亚秒级别对于五年内的行情延时可以在分钟级别五年以外的行情可以存档。
对于订单数据要求绝对不能丢失延时在5ms以内。
权限数据要求不能丢失且延时在3ms以内。 1.4 HotKey和BigKey问题严重
对于热点交易品种容易造成HotKey问题权限也跟着容易照成HotKey问题。聚合行情报价数据容易造成BigKey问题。 2. 数据存储层
根据数据的特点以及应用对数据质量的不同要求对数据的存储方式进行分类和冗余。
hadoop hdfsmysqlcassandraignite 3. 缓存中间件选型
由于我们的场景涉及频繁的查询和过滤redis这种key/value的模式并不适合再加上二级缓存的要求如果使用redis会使得设计变得非常复杂。因此我们选用了ignite它的高并发和高性能特点并不亚于redis。 4. 多级缓存
本地缓存可以选用ignite也可以根据过滤条件的需要选择caffine或者自研框架。 5. 高性能高并发解决方案
5.1 预加载
对于热点数据如权限市场参考数据利率曲线等进行预加载防止造成缓存击穿。 5.2 冷热分离
实时行情历史行情历史行情再根据年限分别存储。 5.3 按需存储到不同数据存储组件
冗余
