極道智能數據系統,為空間數據打造堅實“底盤”
摘要:自人類懂得思考以來,就從未停止過對外界的探索。航空航天和地理空間產業(yè),已從過去的科學研發(fā)向服務民生、創(chuàng)新市場、推動世界經濟增長而轉型。
自人類懂得思考以來,就從未停止過對外界的探索。航空航天和地理空間產業(yè),已從過去的科學研發(fā)向服務民生、創(chuàng)新市場、推動世界經濟增長而轉型。與此同時,在航天任務進程中,數據量愈來愈大、數據類型復雜多樣、數據關聯性強等痛點也日益凸顯。
為了將海量的基礎數據準確應用在各項實際任務中,這就需要可彈性擴展的系統對空間數據進行有效的存儲、科學的管理和高效的分析。極道作為深耕于數據系統領域的創(chuàng)新型企業(yè),致力為多行業(yè)客戶解決數據存儲難題。以自主研發(fā)的智能數據系統“三駕馬車”,將航天企業(yè)測試、運行所產生的海量數據點石成金,并淬煉成數據密鑰,助力地理空間和航空航天事業(yè)加速發(fā)展。
分布式存儲系統,實現海量數據集中存儲
地理空間和航空航天領域產生了大量的空間數據,包括衛(wèi)星遙感點云數據、航拍傾斜攝影數據以及在軌數據等。這些數據增長速度快、數據總量大、高并發(fā),而傳統系統無法在短時間內對這些分散數據進行多維度的組織查找與調用。因此,如何把這些數據集中存儲、統一管理,成為了空間數據存儲和管理需要攻克的首要問題之一。
極道分布式存儲系統ALAMO和ANNA,是適用于海量非結構化空間數據的存儲系統。系統具有彈性的擴展能力,能夠對海量小文件進行有效存儲,高性能處理、加工和分析計算,有效地解決了地理空間、航空航天領域數據存儲空間受限以及不同應用場景下存在的數據存取性能問題。
使用性能強
ANNA擁有非凡的IOPS性能,能夠根據數據的訪問熱度,自動將數據遷移到合適的資源池內,并對場景進行優(yōu)化。滿足了航天設備小文件的讀寫、調用的需求。
分布式文件存儲系統ALAMO具備超高帶寬的性能,10節(jié)點集群系統聚合帶寬超過20GB/s,適用于空間數據的分析、處理和加工環(huán)節(jié)的高性能計算。
容量可擴展
無論是ALAMO還是ANNA,極道的分布式存儲系統都能夠靈活的按需求橫向或縱向擴展,實現PB級、甚至是EB級存儲。系統統一命名空間,透明在線擴容,滿足了航空航天、地理空間相關領域的企業(yè)和機構對海量空間數據的存儲需求。
可靠性和可用性
作為企業(yè)級存儲系統,ALAMO和ANNA不僅采用了高可靠、高可用的架構,還能夠在磁盤故障、節(jié)點故障時,快速重構以防止數據損壞丟失,確保數據服務不中斷,保障空間內關鍵業(yè)務系統正常運行。
“存算協同”,數據處理效率高
在航空航天和地理空間數據分析過程中,大量數據對計算資源利用率要求極高,這就對系統的大量模型算法組合能力、數據并行、算法并行處理能力有著極高的要求。也就是說,高度并行的數據分析流程直接決定了并行數據處理分析的效率、分析過程的準確性。
同時,隨著計算技術的發(fā)展,異構計算資源(CPU、GPU)和異構計算框架(HPC/HTC、MapReduce、ML/DL)越來越多的被引入到空間數據的處理和分析流程中,如何打破異構計算框架帶來的資源壁壘,充分動態(tài)利用計算資源,發(fā)揮計算集群中的算力也是需要考慮的因素之一。
極道的融合分布式計算系統Acheluos,在共享硬件資源的前提下,動態(tài)的構建ABC類計算框架,智能執(zhí)行引擎構建高度并行的混合數據分析流程,可有效解決這一系列的難題。
融合計算
事實上,空間數據的處理與分析需要多種計算框架,這就需要一個統一的計算平臺,對資源進行共享與管理。極道融合分布式計算系統Achelous采用先進的多計算框架技術,能夠在統一資源管理和分配的基礎上,靈活地根據航天測試等應用需求,自動構建計算框架,在一個集群共享硬件的前提下,動態(tài)實現高性能計算、批量計算的融合。
執(zhí)行引擎
在計算過程中,Achelous自帶的執(zhí)行引擎,可根據航天企業(yè)測試數據應用需求,自動生成數據流和工作流;結合系統的可視化界面,大幅度降低了算法和模型并行編程的難度。既簡化了數據處理流程,也將計算資源利用率和數據處理效率發(fā)揮到極致。
“存”“管”“算”完美協同,航天企業(yè)數據管理的終極追求
在對空間數據進行處理與分析中,每天從海量數據中提取出需要的數據,是項非常復雜、且頭疼的問題。因此在數據管理過程中,能夠實現快速發(fā)現,動態(tài)重組和“可視化”則是一件幸事,然而空間數據總量大、精確度高、價值高,一直被譽為數據可視化領域的“喜馬拉雅”。
可視化管理
極道大規(guī)模實時數據管理系統MetaView基于元數據的管理理念,結合獨創(chuàng)的分布圖技術,能夠通過獲取和追蹤的數據特征和用戶自定義特征,對海量數據進行高效的組織與索引,秒查任何文件,快速發(fā)現數據,有效解決了航天企業(yè)科研過程中數據“雜亂無章”的難題。
數據追溯查詢
值得一提的是,基于“數據感知”,極道數據管理系統與存儲系統ANNA、ALAMO,以及計算系統Achelous配合在一起時,能夠提供數據溯源功能。通過形成溯源樹,可以從中間任意節(jié)點開始,推導出產生該文件的所有層級的依賴文件。幫助數據分析者了解溯源樹上每個文件的出處、進程、所使用的工具等,為重構整個分析過程提供重要依據。
航空航天、地理空間領域是一個高精尖的技術密集型產業(yè),在科技力量相對薄弱的過去,這些價值不能估量的海量數據無法被精準利用。但在以數據為驅動力的今天,先進數據的存儲、管理、計算與分析技術,將助力企業(yè)和機構落實空間大數據應用,在浩瀚星空進行永無止境的探索。
極道作為數據系統領域內的創(chuàng)新企業(yè),自2015年成立起,始終致力于解決企業(yè)級用戶數據的“存”“管”“算”難題。多年來,極道“以終為始”持續(xù)創(chuàng)新,將高性能計算(HPC)、大數據分析和人工智能訓練等應用技術深度融合。未來,極道還將以分布式統一存儲系統、融合計算系統、大規(guī)模實時數據管理系統,為航空航天和地理空間產業(yè)的科研與應用創(chuàng)造無限可能。
關于極道:
極道,專注于數據“存”、“管”、“算”的創(chuàng)新數據系統公司,由國內頂尖的存儲和數據分析專家團隊建立,是一家以分布式系統為核心幫助客戶提升IT資源效率,提供高效智能的數據處理基礎平臺的數據系統公司。
極道的核心產品涵蓋了分布式并行文件存儲、強關聯大規(guī)模實時數據管理系統,以及集群的調度系統和執(zhí)行引擎,以滿足企業(yè)對數據處理、分析和建模的多樣化需求。極道注重自主知識產權和產品的可控性,核心軟件系統均為自主研發(fā),已擁有多項專利和軟件著作權。
責任編輯:李雨恒
網友評論