以融合之勢,突破困局 | 極道Achelous統一計算系統,助力企業數據“加速跑”
對大數據的分析處、處理,是將數據從低價值密度體中煉到高價值密度體的過程,被現代商業譽為“煉金術”。這也是數據資源轉化為數據資產的過程,然而由于數據規模龐大、數據類型眾多,使得數據價值的實現仍然存在很高的技術門檻,企業用戶也日益被大數據生態的復雜性所困。
企業“海量數據”之困
企業在擁有了海量非結構化數據之后,要將這些數據同實際業務、商業目的和運營目標相結合,對多樣性數據進行融合分析處理成為必然,這使得數據分析和加工部門需投入大量的人力物力進行數據分析、處理、加工和學習,以得到有價值的結果輸出。
雖然數據分析本身是與行業和業務相關,但非結構化數據的分析計算模式是共通的。隨著技術發展,傳統批量計算、高性能計算、大數據分析、人工智能(分布式機器學習/深度學習)等數據并行處理、分析方法相繼誕生,以滿足各行業數據分析需求。
在實際應用中,企業各部門將以不同的計算模式,來構建所需的系統和計算集群,但這種割裂的計算集群卻造成了重復建設和資源浪費。而隨著業務的推進,同一批數據在不同處理階段所需的分析方法不同,計算分析基礎架構還需要掌握復雜的技術棧,以及數據分析前期的服務部署能力。
另外,由于計算模式多樣化帶來的資源壁壘,企業還需要投入巨大的成本;數據計算系統建立后,數據分析人員如果沒有能力設計高度并行和健壯的數據分析流程,需要經過漫長等待才能夠獲得結果。
降低海量非結構化數據使用門檻 助力企業數據“加速跑”
為了幫助企業用戶解決數據分析門檻高、效率低的問題,極道潛心打造了Achelous統一計算系統。這是一款融合多種計算于同一套物理集群、支持EB級海量數據分析、處理、訓練的系統,并且Achelous有能力跟不同特征的存儲系統配合,做到計算與存儲應用感知,輕松構建復雜數據流的智能融合計算平臺,降低企業IT建設投入
Achelous統一計算系統以統一的數據處理引擎更高效地挖掘數據價值,以智能化的方式驅動整個數據處理閉環,計算效率與資源利用的大幅提升,為開發者、企業、以及政府的數字化、智能化升級打下堅實基礎。
降低構建業務數據分析流程難度
Achelous 是極道提供的調度復雜工作流或數據流的調度器和執行引擎。為了降低業務專家利用現有的算法和模型進行并行編程的難度,Achelous統一計算系統提供執行引擎以及多種表達方式,進行數據流業務的組合編程。
業務專家只需描述所要分析業務的分析階段,以及數據依賴關系,系統將自動構建負載的批量處理有向圖,并生成機器代碼調度執行。例如,應用領域專用語言(BSL、WDL)編寫工作流(Pipeline),業務專家可以動態構建自己的大數據或者人工智能應用,按照數據依賴進行計算。實現完整的數據采集、數據清洗、數據挖掘和機器學習建模等業務流程,極大地簡化了業務專家的數據處理流程,并大幅提高工作效率。
自動構建跨應用計算框架工作流
基于Achelous統一計算系統,用戶面對設計復雜跨框架的數據流,需要高并發或高通量計算時,只需要制定計算框架和預計分配的資源,計算框架會在計算過程中自動構建,計算完成后,計算框架會自動銷毀,資源重新釋放并共享給其他計算和數據處理應用。創建集群的過程對用戶完全透明,無需人工干預和配置,高效完成。
另外,極道提供的可視化界面,方便用戶以拖拽的方式生成數據流和工作流,這一設計可以免去WDL或BSL程序編寫,幫助研究人員擺脫IT技術的束縛,將更多精力投入業務研發。
用事實見證數據流構建能力
在某腫瘤檢測機構,通過部署極道Achelous統一計算系統,其計算資源擴充近2倍,樣本交付能力提升了6倍,滿足其對海量生物數據處理、分析和建模的多樣化需求,助力打通腫瘤臨床檢測全流程。
在BioFlow計算引擎的協助下,該機構一個作業的特殊階段,被輕松分解為數千路并行,每天有超過幾萬個任務運行在高度并行的計算集群里。
在零專業IT人員情況下,該機構運行維護著一個復雜的數十節點HPC/Spark混雜計算集群,以及一個大規模分布式存儲系統。
利用強大的BioFlow WDL/BSL語言引擎和BioFlow執行引擎, 幾名生物信息分析工程師在短短的4個月內,用近千個工具開發出了數百個復雜的分析流程。
高效的執行引擎簡化了分析流程開發,讓業務流程變得更敏捷、更靈活、更可控和自動化。
在未來數字經濟浪潮中,降低計算成本、縮短任務周期、提高分析效率,是企業大數據點石成金的基礎。極道作為數據系統領域的生力軍,始終以用戶需求為導向,以技術創新為驅動,實現提高計算并行程度和提高資源利用率這一目標,進一步降低用戶的整體擁有成本,助力企業釋放更多數據價值。
關于極道:
極道,專注于數據“存”、“管”、“算”的創新數據系統公司,由國內頂尖的存儲和數據分析專家團隊建立,是一家以分布式系統為核心幫助客戶提升IT資源效率,提供高效智能的數據處理基礎平臺的數據系統公司。
極道的核心產品涵蓋了分布式并行文件存儲、強關聯大規模實時數據管理系統,以及集群的調度系統和執行引擎,以滿足企業對數據處理、分析和建模的多樣化需求。極道注重自主知識產權和產品的可控性,核心軟件系統均為自主研發,已擁有多項專利和軟件著作權。
請輸入評論內容...
請輸入評論/評論長度6~500個字
圖片新聞


分享









