海量數據催生新風口,誰是分布式存儲頭雁?

十多年來,云計算、5G、大數據、AI等創新技術得以快速發展,并推動著百行百業的產業數字化進程。當前,數字新基建在不斷深入,作為其重要基石的數據存儲,備受矚目。尤其是新技術的應用與推廣,引發了海量數據的規模化聚集,數十PB甚至數百PB的海量數據存儲需求,已成為新興產業發展的數字化常態之一。
然而,海量存儲雖不是一個最新的名詞,卻有著與時俱進的含義。十多年之前的海量存儲以TB級定義,十多年后的今天,海量存儲的概念要從百PB級談起。或許隨著計算能力與存儲能力的進一步提升,在不久的將來,當前的海量存儲定義又會發生新的變化。
眾所周知,數據存儲容量增長無止境,海量數據的應用場景也不斷創新。就基因測序、氣象預測、自動駕駛、能源勘探、地理測繪等新興應用的發展而言,想要打造海量數據背后牢固的存儲基石,分布式存儲不可或缺,為啥?
與生俱來的契合性,帶給新興應用更多的發展契機
海量數據的產生源自新興應用持續不斷的技術創新與發展,并且隨著新興應用的深入也帶來數據爆發式增長,同時海量數據豐富的應用場景,在促進數字技術和實體經濟深度融合上,發揮出強大的優勢,也為傳統產業轉型升級帶來了很好的幫助,持續助力新產業、新業態、新模式的產生。
從當前來看,海量數據催生的新興應用,可以分為三種類型:
針對科學研究類,主要包括了基因測序、氣象預測等應用。
在這類應用中,需要存儲滿足多樣化的IO需求,承載多樣化的工作負載。
針對智能決策類,主要包括了大數據智能分析、自動駕駛等新興應用。
這類應用需要存儲系統能夠對多種數據類型進行分析,滿足對多種算法的支持。
針對數據管理類,這類應用需要存儲系統實現海量數據的高效共享,滿足跨地域隨時訪問需求。
全球存儲觀察分析認為:面對不斷涌現的海量數據,我們不得不認真思考數據存儲的應用方式。分布式存儲彈性、靈活性、擴展性等特點,與新興應用場景中,敏態業務隨時無感擴縮、智能決策等特點有著天然的契合。
可見,分布式存儲正在成為新興應用的數據基石,不可或缺。
自研可控按需定制,讓分布式存儲更美
作為中國數據存儲領域中重要代表之一,曙光存儲歷經十多年的發展,堅守自研創新之路,本著滿足用戶需求為宗旨,不斷賦能新興應用場景,讓海量數據價值得以全面釋放。
在科學研究類應用中,曙光ParaStor采用IB+RDMA高速互聯、內核態POSIX協議、智能SSD Cache及小文件聚合等技術,應對海量大文件存儲場景高聚合帶寬、小文件存儲場景高IOPS的存儲挑戰,滿足基因測序、氣象預測等應用的存儲需求。
在智能決策類應用中,曙光ParaStor單一存儲節點提供多種協議支持,打通從數據的采集、應用、分析到歸檔的鏈路,在海量異構數據融合的基礎上,對云、5G、AI等應用有著良好的支持。此外,ParaStor采用原生HDFS接口,無任何協議損耗,無縫接入大數據平臺,通過構建高性價比的大數據存算分離解決方案,在存算分離的基礎上,保證了性能的指數級提升,還可以支持更多大數據高級功能。
在數據管理類應用中,曙光ParaStor可通過 3節點存儲集群承載非結構化與結構化數據業務,消除存儲設備多樣性及管理復雜性,降低存儲系統的構建成本,實現存儲資源融合管理,以及多樣化數據高效應用,釋放分布式存儲的數據管理價值。
300PB海量存儲背后,隱藏著一股怎樣的技術力量
2022年,由曙光部署實施的,我國單套最大規模的海量存儲系統已達到300PB。然而,300PB海量存儲背后,隱藏著一股怎樣的技術力量?
好的海量存儲,有三個重點的考量指標。首先,海量存儲不是簡簡單單設備的堆積,要解決呈指數級增長的諸多技術難題;其次對應用的深度把握與定制,才能實現對業務的良好支撐;第三是超大規模項目的部署經驗與應用支持,通常支持百PB級存儲規模部署和支撐萬級客戶端訪問,才能真正體現廠商實力。
基于自研優勢,曙光ParaStor創新打造的Object System(本地對象管理系統)、分布式鎖、多協議融合等多項技術,解決了海量存儲系統在磁盤穩定性、數據一致性和多種應用支持等技術難題,實現用戶建設高價值存儲的愿景。
憑借對行業應用的深刻理解,曙光存儲可在硬件平臺、軟件功能、數據IO路徑、系統穩定性等方面進行定制開發、性能優化和測試,讓用戶更好地致力于業務創新和更高效地成長。
此外,作為國內專注海量存儲系統研制的領先廠商,曙光從2009年單套存儲系統容量16PB,到2022年單套存儲系統300PB,不斷突破業內存儲容量和性能的極限。曙光存儲團隊以強烈的責任心和使命感,為客戶提供專業的技術支撐。
據悉,曙光ParaStor已在各類算力中心項目中提供堅實的數據存儲基座。當然,隨著“東數西算”等國家級項目對海量數據的需求量持續增大,也對存儲系統提出了數據流通更高效、數據應用更智能、數據存儲更安全、存儲設備綠色節能的要求。作為行業領先的分布式存儲廠商,曙光又是如何滿足這類國家級項目對數據更深層次的訴求呢?
針對數據的高效流通,ParaStor基于資源的高效管理與協同,支持多種存儲協議,提供文件、塊、對象、HDFS四種存儲服務,支持數據從采集、處理、分析到歸檔,包括多個中心節點之間的流通。
面向更智能的應用需求,ParaStor提供原生HDFS接口,可高效支持大數據的智能化應用。通過原生協議,無任何協議損耗,無縫接入大數據平臺,滿足更多大數據高級功能。在面對用戶不同的應用時,可快速實現對新組件的靈活支持。
面向更安全的需求,曙光ParaStor的軟硬件均采用自研的設備。在硬件層面,通過CPU、內存、電源、風扇等主要部件的冗余配置,保證單個部件故障時,不影響整個節點正常運行。其次是軟件層面,ParaStor通過智能化故障預處理與高效無感知的系統自愈,才能讓系統真正可靠穩定運行。
面向存儲設備綠色節能需求,曙光于2022年再次升級曙光ParaStor,加持液冷設計,再加上前端曙光液冷的計算節點,完全形成一體化的液冷存儲方案,PUE值可達到1.04。
由此而言,展望未來,面向東數西算工程的發展,曙光存儲不僅實現了300PB海量存儲最新實踐,同時其背后隱藏著一股值得關注的技術力量,面向數據存儲的高效、智能、安全和綠色的更高需求,提供更為細致與全面的解決之道。
小 結,打造新興產業的數據存儲基石
隨著基因測序、氣象預測、自動駕駛、能源勘探、地理測繪、通信行業等新興產業應用的發展,分布式存儲以更為與時俱進的創新能力,正在構建更強大的數據存儲基石,并不斷發揮著重要的作用。
誠然,“東數西算”正在構建數據中心、云計算、大數據一體化的新型算力網絡體系,促進東西部協同聯動。各個產業的飛速發展都在不斷產生大規模的海量數據,給分布式存儲的創新發展提供了技術進步的土壤。可見,打造東數西算的數據存儲基石,將成為有志于此的所有數據存儲廠商下一步發展的重點。
有著數十年的自研積累,擁有廣泛行業用戶的大規模部署落地經驗,曙光存儲在分布式存儲領域的作為,業界都可以看得出來,不僅順應著用戶需求的發展,同時也順應著時代的發展。加速新興產業發展,發揮出新數據的真正價值,以分布式存儲的持續創新來夯實數字化基石,曙光當仁不讓。

原文標題 : 海量數據催生新風口,誰是分布式存儲頭雁?
請輸入評論內容...
請輸入評論/評論長度6~500個字
最新活動更多
- 1 AI狂歡遇上油價破百,全球股市還能漲多久? | 產聯看全球
- 2 OpenAI深夜王炸!ChatGPT Images 2.0實測:中文穩、細節炸,設計師慌了
- 3 6000億美元估值錨定:字節跳動的“去單一化”突圍與估值重構
- 4 Tesla AI5芯片最新進展總結
- 5 連夜測了一波DeepSeek-V4,我發現它可能只剩“審美”這個短板了
- 6 熱點丨AI“瑜亮之爭”:既生OpenClaw,何生Hermes?
- 7 AI界的殺豬盤:9秒刪庫跑路,全員被封號,還繼續扣錢!
- 8 2026,人形機器人只贏了面子
- 9 DeepSeek降價90%:價格屠夫不是身份,是戰略
- 10 AI Infra產業鏈卡在哪里了?


分享













