瀚高數(shù)據(jù)倉庫是我公司研發(fā)的一款基于大規(guī)模并行技術(shù)的數(shù)據(jù)倉庫軟件,具備無共享、高性能、高可用、擴展容易、海量數(shù)據(jù)處理等特性??梢詾槌笠?guī)模數(shù)據(jù)管理提供高性價比的通用計算平臺,并廣泛地用于支撐各類數(shù)據(jù)倉庫系統(tǒng)、BI系統(tǒng)和決策支持系統(tǒng)。
完全并行的MPP(Massive Parallel Processing,大規(guī)模并行處理)分布式架構(gòu),具有多機、多計算實例、多進程并行能力,所有節(jié)點之間無共享,具有對等計算能力。
支持海量數(shù)據(jù)存儲、查詢,可處理PB級別以上的結(jié)構(gòu)化數(shù)據(jù);數(shù)據(jù)庫表的行數(shù)無大小限制,數(shù)據(jù)行可以存儲GB級別數(shù)據(jù);采用hash、random存儲策略,數(shù)據(jù)分布均勻。
瀚高數(shù)據(jù)倉庫在原有本地存儲基礎(chǔ)上,研發(fā)外部存儲連接組件,提供對HDFS、S3、Hive、NFS、CephFS等外部文件系統(tǒng)的支持。
采用先進的lz4、zstd高性能壓縮算法,在讀寫IO與磁盤存儲之間達到最好的平衡。
提供行列混合存儲方案,從而提高了列存數(shù)據(jù)庫特殊查詢場景的查詢響應(yīng)耗時。
完全兼容支持x86架構(gòu)的PC服務(wù)器,不需要昂貴的Unix服務(wù)器和磁盤陣列。
瀚高數(shù)據(jù)倉庫采用高性能CSV解析器,一次可以解析8個字節(jié),在CSV外部表數(shù)據(jù)裝載時,性能優(yōu)越。
瀚高數(shù)據(jù)倉庫采用目前最先進的LLVM框架提高查詢性能,發(fā)揮Just-In-Time編譯器的優(yōu)勢,將整個查詢計劃轉(zhuǎn)換成一個匯編語言程序,有效去除x86執(zhí)行器與內(nèi)存的摩擦,使查詢性能更優(yōu)。
支持集群節(jié)點的擴容和縮容,能夠通過增加服務(wù)器節(jié)點對系統(tǒng)的計算和存儲能力擴容;擴容過程動態(tài)擴展,不停機,不影響業(yè)務(wù)正常運行。
通過鏡像冗余機制來保證集群的高可用,數(shù)據(jù)通過鏡像提供冗余保護,自動故障探測和管理,自動同步元數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù);具有數(shù)據(jù)備份恢復能力,支持全量、增量的備份/恢復。
提供完善用戶賬號控制和權(quán)限管理策略,保證數(shù)據(jù)庫系統(tǒng)的安全性;同時提供詳盡的審計日志輸出功能,記錄數(shù)據(jù)庫中與數(shù)據(jù)庫操作相關(guān)的所有日志。
可以通過資源隊列統(tǒng)一控制控制用戶、會話和查詢語句對集群資源的使用,可靈活配置資源隊列優(yōu)先級,使維護更加自動化;支持多種三方圖形化工具,簡化管理員對數(shù)據(jù)庫的管理工作,以讓管理員以最小的代價進行數(shù)據(jù)庫維護。