混合型大数据中心

构建完整企业级大数据中心及数据应用,满足企业大数据处理、挖掘需求,助力复杂业务的分析和决策。

主要功能

 

数据采集

使用sqoop进行批量数据采集,kafka+flume实时数据采集,python爬虫抓取网站公开数据,作为第三方数据补充

数据处理

Sparksql进行数据加工、整合、指标标签计算

复杂计算

Python+spark框架进行复杂逻辑计算

数据分析

使用Hive或者Pig进行数据分析

数据挖掘

通过R语言进行数据挖掘分析

数据展示

前端可视化工具通过Impala接口对接底层数据进行数据展示

数据服务

基于JSON标准协议面向服务架构,可专注于单一的业务功能

业务价值

 

解决传统DB计算问题

解决传统数仓无法存储巨量数据的问题, 实现复杂逻辑计算的问题优化传统数据库数据中心方案, 平均效率提升超过40%

有效降低IT投入成本

解决传统数据库硬件升级瓶颈, 技术能力雄厚的开源社区, 降低运维投入费用