首頁 新聞 産品 産融雲 技術 研究 關于

VR彩票技術

自主研发高性能技術平台、技術驱动价值

大數據

PaaS技術平台 VR彩票智腦 移动技術平台 區塊鏈平台 云技術平台 高性能技術方案 大數據 IT服務

大數據平台介绍

VR彩票科技大數據平台,是VR彩票科技自主研发的基于大數據分布式计算架构的新一代智能平台。该平台遵循J2EE规范,按照分层理念设计,基于函数式编程设计实现數據采集、数据存储、数据清洗、数据分析、数据展示功能的技術平台,可以支撑整个大數據应用産品体系,并对其进行软件全生命周期管理。

VR彩票大數據平台分三个层级,自下而上分别为数据存储、数据工厂和数据应用。


一、數據存儲

数据存储指的是基础软件和硬件,大數據平台屏蔽了不同软件産品对不同数据库类型的差异,全平台自动适配。

支持多種數據存儲模式,包括傳統關系型數據庫、NoSql數據庫、基于列存儲的數據庫HBase、分布式文件存儲HDFS;

支持集群多節點分布式部署,具備負載均衡、協同消息同步、容災備份等功能。


二、數據工廠

數據工場是集數據清洗、數據抽取、數據計算、數據分析的數據研發平台,並集成公共的數據研發計算組件。

數據同步和轉換

不同类型的数据在数据库中存储源不同,传统的大數據处理需要将数据抽取到内存中再进行融合计算,VR彩票大數據平台针对不同结构的数据源进行框架整合,提供简捷易用的數據同步和轉換。

數據計算組件

大數據平台针对常用的数据分析计算进行分析整合,抽取并提供了一套常用的数据分析计算组件,让开发者减轻了对数据计算技術实现的负担,将精力集中在业务逻辑开发上。

分布式計算引擎

分布式计算是将海量数据进行拆分,通过分布式架构进行多进程计算,并整合结果集。大數據平台提供了一套简洁便捷的分布式计算研发技術框架。

分布式緩存

大數據平台提供了一套分布式緩存系统,以满足数据应用的集群环境下的通讯协同、消息序列等业务需求。

數據交換平台

負責和數據存儲層交互,根據不同的業務應用場景,自動匹配不同的存儲數據源。


三、數據應用

數據采集

數據采集是大數據应用开发的第一步,大數據平台支持诸如数据爬虫等數據采集等数据应用的开发。

數據管理和數據展現

不同来源不同类型的海量数据需要存储至不同类型的数据库,大數據平台提供了对不同数据库类型的数据接口支持,开发者可基于此进行数据融合、数据管理、数据分析、数据导出、报表展示等业务应用的开发。

任務調度

集群环境下,合理地进行任務調度是确保集群环境稳定的必要措施,大數據平台提供了集群环境的任務調度接口,并支持业务应用进行平台任務調度的集成开发。

資源管理

大數據平台提供了对底层数据储存信息、集群运行状况、多线程计算负载、分布式緩存信息等资源的接口,支持对大數據平台資源管理业务应用的开发。