1. 案例背景：

在某地市(shì)在前期已經建立了相(xiàng)對完善的交通(tōng)指揮控制中心，采集了大量的交通(tōng)、道路(lù)、車輛數據。為(wèi)此欲打造一(yī)套完善的交通(tōng)大數據平台以滿足其對于進一(yī)步提升部門(mén)管理效率，進一(yī)步合理規劃道路(lù)交通(tōng)，識别違法車輛的需求。

由于交通(tōng)數據本身涵蓋了大量實時監測數據和高(gāo)并發的數據源接入處理任務，并且會(huì)随著(zhe)城(chéng)市(shì)車輛的保有量，道路(lù)複雜(zá)程度的不斷升高(gāo)而随之提升。這對于系統底層，尤其是數據存儲層的可擴展性提出了較高(gāo)的要求，随著(zhe)增量數據的進入，系統不僅需要進行縱向擴展，升級機(jī)器(qì)性能(néng)，還(hái)需進行橫向擴展，提升存儲上(shàng)限。同時龐大的數據體量也需要系統能(néng)夠具備高(gāo)度容錯(cuò)性，單個(gè)節點的失效不能(néng)影響整個(gè)作業(yè)。基于此，客戶對于底層數據庫的主要痛點和需求如下(xià)：

（1）高(gāo)并發數據源的實時接入，超大數據體量數據的實時更新

（2）高(gāo)性能(néng)、低(dī)延遲的檢索分析，快速響應複雜(zá)查詢

（3）高(gāo)度容錯(cuò)性，單個(gè)節點失效不會(huì)影響整體作業(yè)的運行

（4）高(gāo)度可擴展性，大規模并行處理的能(néng)力

（5）支持異構環境，對硬件(jiàn)平台一(yī)緻性要求不高(gāo)，适應能(néng)力強

（6）系統具備高(gāo)度可靠性，性價比高(gāo)

2. 解決方案：

客戶業(yè)務場景中産生(shēng)的數據主要以高(gāo)并發的實時交通(tōng)監測數據為(wèi)主，在數據存儲層需要能(néng)夠滿足其對于高(gāo)并發實時數據的快速導入、分析，并且在進行車輛軌迹分析、車輛流量控制、套牌車識别等多(duō)種業(yè)務類型方面要能(néng)做到(dào)快速的檢索和分析能(néng)力。

針對于這類高(gāo)并發、實時數據的處理，錄信數軟采用了支持高(gāo)并發實時數據分析處理的全棧數據庫——LXDB作為(wèi)存儲系統。同時LXDB還(hái)實現了以下(xià)性能(néng)：

（1）基于分布式文件(jiàn)系統的索引，磁盤容錯(cuò)性高(gāo)，數據遷移擴容更方便

分布式文件(jiàn)系統本身容錯(cuò)性更強，單個(gè)節點磁盤的速度不會(huì)影響整體作業(yè)進度。同時利用分布式文件(jiàn)系統不受物(wù)理存儲空間限制的特性，使得後期設備的擴容和數據的遷移更加便捷。

（2）獨有列簇異構技(jì)術(shù)，冷熱數據分離，大幅節省固态硬盤使用空間

由于交通(tōng)數據的數據體量大，數據類别多(duō)，在進行數據存儲時需要消耗巨大的物(wù)理空間，并且不同類别數據的使用頻率和需求都大相(xiàng)徑庭。因此系統采用列簇存儲方式，根據數據類型和調用頻率将數據分為(wèi)“冷數據”和“熱數據”，實現冷熱數據的異構存儲，大幅減少固态硬盤的使用空間，降低(dī)了系統的總體硬件(jiàn)成本。

（3）同時兼顧快速查詢及複雜(zá)計算(suàn)的Spark索引系統

傳統數據庫的Spark系統雖然具備處理複雜(zá)查詢計算(suàn)的能(néng)力，但是底層對于數據的讀(dú)取效率慢(màn)。通(tōng)過在Spark底層加入索引，提升Spark在數據讀(dú)取時的速度，同時兼顧數據的快速查詢和複雜(zá)計算(suàn)，在數據查詢的響應速度得到(dào)顯著提升的同時保留Spark處理複雜(zá)計算(suàn)的能(néng)力。

3.項目效果：

（1）海量實時數據更新導入，秒(miǎo)級查詢反饋，大幅提升辦案效率

在系統測試中，對于實時數據的導入效率平均可達10億/天/節點，精确查詢控制在1秒(miǎo)内響應，系統的實時性和檢索效率得到(dào)大幅提升，在進行車輛套牌檢測、車輛非法改裝等場景的辦案效率得到(dào)大幅提升。

（2）項目硬件(jiàn)預算(suàn)大幅縮減

采用分布式文件(jiàn)系統和列簇存儲技(jì)術(shù)，降低(dī)了系統對于物(wù)理存儲的依賴，大幅減少了系統對于價格較高(gāo)的固态硬盤的需求量，整體項目硬件(jiàn)預算(suàn)降幅超過30%。

（3）滿足了多(duō)業(yè)務場景需求，兼顧快速查詢及複雜(zá)計算(suàn)

針對快速查詢和複雜(zá)計算(suàn)的雙重需求所設計的底層系統，滿足了客戶不同業(yè)務場景、不同職能(néng)部門(mén)的業(yè)務需求，不論是對于車輛信息的快速查詢，還(hái)是對于同一(yī)道路(lù)，不同時間段，不同車型流量這類的複雜(zá)分析都可以兼顧。