<返回更多

车纷享:基于阿里云HBase构建车联网平台实践

2020-08-07    
加入收藏

一、车纷享数据中心

车纷享的数据来自于车载终端上传的数据报文,首先经过系统平台的网关,然后借助规则引擎对数据报文进行解析拆分成有意义的数据项,以数据记录的方式放入消息队列,消息队列采用了阿里的MQ,消息队列的消费程序,会将消费到的数据分别存入redis以及HBase,其中Redis是用来提供车辆实时状态的查询,HBase提供车辆历史数据的查询,为了对历史数据进行灾备处理,使用了阿里云的OSS存储,将备份数据日志文件按照时间分区存储至OSS。

车纷享:基于阿里云HBase构建车联网平台实践

 



专栏
Hadoop v3.1大数据技术快速入门
作者:软件架构
19.8币
43人已购
查看

二、数据处理流程

以网约车管理平台为例,主要数据来源为车况数据和订单数据,进入Kafka后,建立2个消费组(Consumer Group),分别存储进HBase数据库和进入Spark Streaming流式计算引擎,主要用来为运营部门优化网点,车辆分流,监控部门的风控管理和商业BI相关的离线分析提供数据支撑。

车纷享:基于阿里云HBase构建车联网平台实践

 



专栏
Kafka v2.3 快速入门与实践
作者:软件架构
29.6币
61人已购
查看

三、使用感受

现在车纷享的车联网数据平台已迁入阿里云HBase团队已经半年多了,平均日写入数据几十G,到现在还没出现数据服务器的严重故障问题,总体比较稳定,大大降低了运营管理成本。

车纷享:基于阿里云HBase构建车联网平台实践

 

原文链接:

车纷享:基于阿里云HBase构建车联网平台实践

https://developer.aliyun.com/article/563203

声明:本站部分内容来自互联网,如有版权侵犯或其他问题请与我们联系,我们将立即删除或处理。
▍相关推荐
更多资讯 >>>