工業過程數據以時序形式產生，采樣頻率高（1到1000Hz）、數據量大（中型工廠日增10到50GB）、查詢模式固定（時間范圍加測點聚合）。傳統關系型數據庫在寫入吞吐和存儲效率上難以滿足，專用時序數據庫（如InfluxDB、TDengine、IoTDB）成為主流選擇。本文聚焦工業場景的時序數據壓縮與查詢優化技術。

工業時序數據特征

通過對5個行業（石化、電力、冶金、水處理、制藥）共12套DCS和PLC系統的數據統計分析，工業時序數據呈現以下特征：穩態段占比高（70%到85%的時間內數據變化率小于0.1%每秒），適合有損壓縮；突變段稀疏但關鍵（工況切換、故障瞬態），有損壓縮需保證突變點完整保留；數據精度冗余——傳感器A和D精度16位，但有效信息量通常僅8到10位；時間戳規律——采樣周期固定，時間戳可增量編碼。

壓縮算法對比

對四種算法在真實數據集（某熱電廠2號機組，5000測點，1秒采樣，7天數據）上測試：

1. 旋轉門算法（SDT）：壓縮比8比1至25比1，參數為偏差限E，E等于0.1%量程時壓縮比15比1，精度損失0.05%。優點是計算簡單，適合嵌入式部署。缺點是對突變段需特殊處理。

2. 死區濾波（Deadband）：僅當變化量絕對值超過閾值時存儲，壓縮比5比1至12比1，實現最簡單，但不保留變化趨勢信息。

3. Gorilla壓縮：基于異或加前綴編碼，無損壓縮，壓縮比3比1至5比1，適合高頻低變化場景。

4. LZ4和ZSTD塊壓縮：通用壓縮，對時序數據壓縮比2比1至4比1，CPU開銷較高。

自適應旋轉門多級壓縮方案

本文提出三級壓縮流水線：第一級為自適應SDT（在線，邊緣側執行），第二級為Gorilla編碼（近線，服務器側），第三級為ZSTD塊壓縮（離線，冷數據歸檔）。

自適應SDT的關鍵改進：偏差限E根據信號方差動態調整。定義局部方差為最近N個點（N等于100）的方差，E(t)等于最大值（E最小值，k乘局部方差），其中k為調節系數（取2到3）。當信號平穩時方差小，E趨近最小值，壓縮比高；當信號波動時方差增大，E增大，避免突變點被誤壓縮。

實測數據：在熱電廠數據集上，自適應SDT的壓縮比為22比1（固定E時為15比1），精度損失0.08%（固定E時0.05%），在工況切換段（方差增大10倍）的關鍵點保留率從88%提升到99.5%。三級壓縮總壓縮比達120比1（原始8字節每點降到0.067字節每點），存儲空間節省99.2%。

查詢優化

工業查詢模式以時間范圍加測點加聚合函數為主。優化策略：

1. 時間分區加測點分列存儲：數據按天分區，每個分區按測點列存儲，查詢指定測點時僅掃描對應列文件，I/O減少90%以上。

2. 預聚合層：自動維護1分鐘、5分鐘、1小時粒度的聚合緩存（均值、最大、最小、計數），覆蓋80%的查詢請求。聚合數據量僅為原始數據的1比60至1比3600。

3. 索引結構：采用時間序列索引，在分區元數據中存儲每個測點在分區內的min和max以及time-range，實現分區裁剪。對未命中預聚合的查詢，分區裁剪可跳過60%到90%的數據文件。

性能基準：1000萬測點乘7天數據集（原始約500GB，三級壓縮后約4GB），查詢1天和100個測點的5分鐘均值：從原始存儲的12秒降低到0.5秒（預聚合命中0.08秒），查詢延遲降低96%。寫入吞吐：單節點12萬點每秒（含SDT壓縮），10節點集群120萬點每秒。

工程案例

某大型煉化企業全廠歷史數據庫改造，原系統存儲3年數據約15TB，查詢1小時跨度的均值需8到15秒。遷移到自研時序庫（3節點集群，SSD存儲）后，3年數據壓縮到約800GB，同等查詢0.3到0.8秒。硬件投資從120萬元降低到45萬元，年維護費降低60%。