極道：探尋生命科學領域數據“多樣化”的解決之道
近年來生命科學領域的數據量呈爆炸式增長的趨勢，包括基因測序、臨床檢測、冷凍電鏡、腦科學等。數據的爆發增長導致了數據和數據分析方式呈現出多樣化的特征，而這些“多樣化”特征是多個層次的，如何解讀生命科學領域數據多樣化帶來的一系列挑戰，成為了業內及數據系統公司需要解決的一大難題。
數據類型的“多樣化”
第一個層次的“多樣化”是數據類型的多樣化。
這包括動植物基因組學數據、醫學臨床數據、結構生物學研究中冷凍電鏡產生的蛋白和大分子結構數據，甚至還包括由3D基因組學發展而來的3維基因空間結構數據。多樣化的數據類型，讓能夠觀察到和分析出來的數據特征越來越多樣化。
除了門、綱、目、科、屬、種、變異、突變、臨床表征等，越來越多維度的數據特征進入了生命科學研究工作者的視野中。如何從多樣化的數據特征中發現數據、利用數據特征生成多維度數據集合，對數據的管理提出了相當高的要求。
非結構化數據的“非結構”特性本身造成了管理上的困難，同時海量數據的特征越來越豐富，數十億級別的數據加上每個數據都可能有多個不同強關聯的特征，而利用關系型數據庫加數據路徑實現的傳統LIMS系統來進行數據管理的方式，其擴展性差、海量數據強關聯搜索效率極低并且難以分析的弱點也逐漸被暴露出來。
針對這一現象，極道的新型數據管理系統能夠利用分布式圖技術對數據進行大規模強關聯實時數據特征管理，解決生命科學領域用戶的多樣化數據特征的痛點，有序管理、快速搜索、生成多維度數據視圖。
數據計算模式的“多樣化”
第二個層次的“多樣化”是數據計算模式的多樣化。
傳統的生命科學領域無論是基因測序還是冷凍電鏡數據，通常采用的是批量計算或者高性能計算的工具和算法。但是隨著計算技術的發展，計算模式的不斷進步，更多新型方法實現的算法和工具加入到生命科學相關領域的研究和生產中。比如測序領域的GATK4spark和一些其他的基于大數據MapReduce技術實現的算法工具誕生，導致生命科學用戶傳統的單一HPC集群已不能滿足計算的需要。而近兩年AI技術的興起，Google的DeepVariant、Nvidia的Clara等基于人工智能的生物醫學平臺帶來了更多新型分析生物數據的工具和算法，各種異構的計算模式也給生物數據處理和分析帶來了很大的挑戰。
如何改造傳統的計算基礎架構？構建和運維獨立割裂的HPC集群、大數據集群、AI集群并不是最有效的解決方法。多樣化的計算模式帶來了資源上的壁壘，資源利用率和運維的復雜度也成為了生命科學研究工作者需要解決的難題，而更為重要的是，新技術誕生并不能一次性的顛覆所有以前的算法實現。
因此可以預見，未來，多樣化模式實現的算法將會長期共存。一個復雜的生物數據分析流程很可能會同時涉及到批量計算、高性能計算、MapReduce和深度學習相關的各種算法。
在這種情況下極道Achelous計算系統誕生了。Achelous通過共享硬件的一套集群，動態地構建多模式計算框架、利用智能執行引擎協助生命科學領域用戶構建高效率、混合算法的數據流程，有效的解決計算的多樣化需求。
計算硬件需求異構化
第三個層次的“多樣化”是計算硬件需求的異構化。
隨著生命科學領域計算模式的樣化，計算硬件也在迅速發展。除CPU以外，GPU、FPGA等稀缺計算資源也加入了進來，以滿足復雜和高速的數據分析處理。
解決異構計算資源的共享和調度問題，需要足夠智能的計算平臺。例如GPU如何根據拓撲調度化零為整、如何根據顯存調度化整為零？極道的計算系統Achelous能夠面對異構硬件平臺，根據不同稀缺計算資源的特征設計高級調度策略，盡可能把稀缺計算資源的利用率發揮到極致。
多種算法模型共存
第四個層次的“多樣化”是多種算法模型帶來的的多樣化。
在生物信息分析計算過程中，一套系統會同時存在多種算法模型的運行實例，而每個算法的實現都對數據存取有不一樣的要求，有的要求吞吐、有的要求Ops、有的要求元數據訪問的延遲，多樣化的IO模式給數據存取效率帶來了很大的挑戰。面對這種多樣化的IO存儲模式，存儲需要進行相應的優化和動態調整，才能滿足數據分析的需要。
比如計算集群登陸節點交互操作多，要求數據和元數據的訪問延遲，而計算節點很可能一段時間內是吞吐密集，另一個算法同時需要求高的Ops。解決這種多IO模式共存情況下數據存取的效能，需要計算系統和存儲系統的協同，極道獨創的“應用感知”理論，其目的是要存儲系統通過高級策略根據應用算法多樣化IO模式進行實時調整，盡可能把存儲的數據存取效能在多樣化計算過程中發揮到極致。
事實上，生命科學數據所面對的四個層次的“多樣化”，在很多的行業中都有共性表現，面對“多樣化”挑戰，需要各種各樣的“門道”。極道有“道”，能夠用產品和優勢技術把所有的“道兒”都發揮到極致。
這就是極道作為一個數據系統公司與傳統的存儲公司、或者IT系統公司的不同之處。極道不僅站在系統公司的角度設計和研發產品，更重要的是還能夠深度理解行業應用、根據行業用戶的真實數據需要設計產品，來迎接行業所面臨的多樣化數據挑戰。
目前，極道的數據系統產品在國內外頂級的基因公司、臨床檢測公司、國家級科研機構、藥物研發等領域廣泛應用，并收獲眾多客戶好評。未來，極道仍將不斷提供創新的技術與產品，為生物基因技術的快速發展發揮重要作用。
關于極道
極道，專注于數據“存”、“管”、“算”的創新數據系統公司，由國內頂尖的存儲和數據分析專家團隊組建。以分布式并行文件存儲、強關聯大規模實時數據管理系統，以及集群的調度系統和執行引擎為核心產品，滿足企業對數據處理、分析和建模的多樣化需求，幫助客戶迅速提升IT資源效率，將海量非結構化數據轉化為真正的數據資產。
分享
請輸入評論內容...
請輸入評論/評論長度6~500個字
圖片新聞
