1.案例背景:
國(guó)資委下(xià)屬某汽車科研中心為(wèi)實時監測汽車狀态,監測汽車是否符合國(guó)五國(guó)六标準。在汽車上(shàng)安裝了采集數據的車載終端,實時将數據發送回數據中心。上(shàng)報(bào)的數據量超千億條,需要實現千億規模的實時查詢、統計和分析功能(néng)。
由于數據規模過大,導緻數據查詢統計響應過慢(màn),因此需使用能(néng)服務于超大數據體量的數據庫實現數據的快速檢索和分析。基于此,客戶最終采用了錄信LSQL檢索分析型數據庫。
2.方案說明:
在對于系統的部署構架方面,除了終端采集設備與用戶端的展示層,整體方案部署在華為(wèi)雲上(shàng),包含數據采集服務,LSQL存儲檢索服務,以及應用和WEB服務。
ETL數據接入服務
車載終端上(shàng)報(bào)的數據,經過ETL模塊采集、清洗,傳給消息中間件(jiàn)kakfa;
錄信數據庫存儲檢索服務
部署錄信數據庫軟件(jiàn),用于存儲接收到(dào)的數據,并提供實時查詢、統計功能(néng);數據存儲采用了HDFS分布式文件(jiàn)系統;
應用服務
基于自(zì)研數據庫提供的接口,實現相(xiàng)應的上(shàng)層應用;
WEB服務
對用戶提供WEB服務。
整體架構如下(xià):
3.項目實施:
項目部署簡單快捷,在現有的華為(wèi)雲上(shàng),實施以下(xià)步驟:
1.部署hadoop集群用于存儲數據;
2.部署kakfa集群用于實時數據接入,并定制開(kāi)發ETL模塊;
3.部署錄信數據庫軟件(jiàn),即可實現海量數據實時查詢統計等功能(néng)。
4.項目效果:
(1)項目部署周期短
一(yī)周完成整體項目的部署上(shàng)線。
(2)系統穩定性得到(dào)顯著提升
項目已經穩定運行一(yī)年(nián)以上(shàng),每日增量數據超過1億條以上(shàng),存量數據已經過百億。
(3)系統遷移過程更加平穩順滑
錄信數據庫提供了類SQL的接口,大大降低(dī)了使用難度,用戶可以快速開(kāi)發上(shàng)層應用。