南京氫聊軟件技術有限公司

下(xià)載試用

解決方案及案例

Solutions and cases

國(guó)資委直屬某中心車聯網項目

2020-12-14 2067

基于華為(wèi)雲,為(wèi)國(guó)資委下(xià)屬某汽車科研中心提供千億規模的大數據分析平台。實現數據實時接入、離線接入、文本檢索、聚合統計、數據關聯分析等功能(néng)。

1.案例背景:

國(guó)資委下(xià)屬某汽車科研中心為(wèi)實時監測汽車狀态,監測汽車是否符合國(guó)五國(guó)六标準。在汽車上(shàng)安裝了采集數據的車載終端,實時将數據發送回數據中心。上(shàng)報(bào)的數據量超千億條,需要實現千億規模的實時查詢、統計和分析功能(néng)。

由于數據規模過大,導緻數據查詢統計響應過慢(màn),因此需使用能(néng)服務于超大數據體量的數據庫實現數據的快速檢索和分析。基于此,客戶最終采用了錄信LSQL檢索分析型數據庫。

 

2.方案說明:

在對于系統的部署構架方面,除了終端采集設備與用戶端的展示層,整體方案部署在華為(wèi)雲上(shàng),包含數據采集服務,LSQL存儲檢索服務,以及應用和WEB服務。

 

ETL數據接入服務

車載終端上(shàng)報(bào)的數據,經過ETL模塊采集、清洗,傳給消息中間件(jiàn)kakfa;


錄信數據庫存儲檢索服務

部署錄信數據庫軟件(jiàn),用于存儲接收到(dào)的數據,并提供實時查詢、統計功能(néng);數據存儲采用了HDFS分布式文件(jiàn)系統;


應用服務

基于自(zì)研數據庫提供的接口,實現相(xiàng)應的上(shàng)層應用;


WEB服務

對用戶提供WEB服務。

 

整體架構如下(xià):

car1.png

 

3.項目實施:

項目部署簡單快捷,在現有的華為(wèi)雲上(shàng),實施以下(xià)步驟:

1.部署hadoop集群用于存儲數據;

2.部署kakfa集群用于實時數據接入,并定制開(kāi)發ETL模塊;

3.部署錄信數據庫軟件(jiàn),即可實現海量數據實時查詢統計等功能(néng)。


car2.png


4.項目效果:

(1)項目部署周期短

一(yī)周完成整體項目的部署上(shàng)線。


(2)系統穩定性得到(dào)顯著提升

項目已經穩定運行一(yī)年(nián)以上(shàng),每日增量數據超過1億條以上(shàng),存量數據已經過百億。


(3)系統遷移過程更加平穩順滑

錄信數據庫提供了類SQL的接口,大大降低(dī)了使用難度,用戶可以快速開(kāi)發上(shàng)層應用。