1.案例背景：

某省廳公安需要建設一(yī)個(gè)綜合性平台，對散布在各業(yè)務部門(mén)信息資源進行整合，實現公安信息資源的最大化共享和利用。

平台底層通(tōng)過接入公安、網吧(ba)、酒店、交通(tōng)等行業(yè)數據，以及互聯網記錄和通(tōng)訊記錄，實時将數據彙總到(dào)數據平台，對業(yè)務層提供接口，滿足業(yè)務的查詢、統計、分析的需求。

大緻架構如下(xià)圖所示：

• 數據特點

數據規模大：單日數據在500億條以上(shàng)，曆史數據已經超過萬億規模；

數據類型複雜(zá)：不同渠道獲取的數據格式差别極大，既有結構化數據，又(yòu)有非結構化數據；

數據使用場景豐富：不同業(yè)務對數據的使用需求不同，需要存儲多(duō)份數據。

• 痛點

1.萬億數據，響應時間太慢(màn)，無法滿足業(yè)務需求；

2.不同業(yè)務需要存儲不同格式的數據，數據膨脹率大；

3.多(duō)種集群需要不同團隊進行維護，學習使用成本高(gāo)。

2.解決方案：

針對于客戶數據規模龐大、數據類型複雜(zá)、響應延遲的問題，需要對數據庫結構進行簡化。為(wèi)此，我們采用自(zì)研的LSQL檢索分析型數據庫替代客戶原先的數據庫架構，借助LSQL的分布式構架，實現了對超萬億數據的秒(miǎo)級檢索，同時涵蓋了多(duō)維即席分析的功能(néng)，可以快速高(gāo)效的進行統計分析和計算(suàn)。同時LSQL的提供較為(wèi)簡單的JDBC/HTTP接口，上(shàng)手容易，客戶隻需底層存儲一(yī)份數據，就(jiù)可以滿足上(shàng)層不同業(yè)務的檢索、統計和分析的需求。

在導入LSQL軟件(jiàn)後，對客戶的平台構架進行了簡化，大大提升了數據的響應速度。

除此之外，LSQL還(hái)可以滿足以下(xià)幾個(gè)方面的場景需求：

• 全文檢索業(yè)務

LSQL底層基于lucene框架，利用倒排索引，天生(shēng)适合全文檢索類的業(yè)務。加上(shàng)錄信自(zì)研的切詞法和壓縮算(suàn)法，大提高(gāo)了檢索響應速度。可以實現萬億數據，秒(miǎo)級響應。

• 綜合查詢業(yè)務

LSQL上(shàng)層提供了統一(yī)的SQL接口，可以實現類似傳統數據庫的查詢功能(néng)。對于結構化數據的查詢業(yè)務，支持各種條件(jiàn)組合過濾查詢。标準SQL的語法，也讓業(yè)務層可以快速上(shàng)手，降低(dī)了學習成本。

• 時空軌迹碰撞

基于LSQL的地理位置檢索功能(néng)，可以實現軌迹快速匹配。

3.項目效果：

（1）使用和運維成本大幅降低(dī)

-    集群數量從(cóng)原先的多(duō)個(gè)，降為(wèi)一(yī)個(gè)LSQL集群，釋放(fàng)了數百台機(jī)器(qì)；

-    LSQL支持異構存儲，不需要全SSD存儲，極大地降低(dī)了存儲成本；

-    LSQL提供了類SQL的接口，降低(dī)學習和維護成本。

（2）項目穩定性得到(dào)進一(yī)步提升

系統目前已經穩定運行兩年(nián)，集群規模經過擴容已經擴大到(dào)上(shàng)千台節點，仍然穩定高(gāo)效運作。

（3）系統數據吞吐上(shàng)限顯著提升

單表數據規模已經超過10萬億，每日數據增量1000億以上(shàng)。

（4）系統響應速度大幅提高(gāo)

每日請求上(shàng)百萬次，90%以上(shàng)的查詢響應時間<5秒(miǎo)。