開啟“輕設計”模式,芯原聯手Khronos為多媒體應用提供彈藥庫
芯原商業運營高級副總裁汪洋表示,隨著先進工藝發展,芯片開發成本越來越高,因此催生新的設計方法論,越來越多的設計公司開啟“輕設計”模式,重視IP在芯片開發中的作用,也愿意嘗試各種加速開發的設計方法。
文︱編輯部
圖︱廠商資料
4月23日,開放標準行業組織科納斯工業協會(Khronos Group)攜手芯原股份(VeriSilicon)在上海聯合舉辦技術研討會。圍繞圖像、視覺與計算,來自科納斯、芯原、騰訊、阿里巴巴、ax株式會社、英特爾、中國移動研究院、彌知科技以及華為等多家廠商或機構為現場與線上專業觀眾帶來了并行處理、視覺加速和推理、3D圖像、增強與虛擬現實等多個技術話題分享。
根據中移動的數據,2020年視頻在全網數據流量占比已接近70%,而這一比例在可預期的將來,仍將上升。內容視頻化大勢所趨,對圖像/視頻等多媒體處理技術的要求也就越來越高,要實現更高效的多媒體(或富媒體)處理,既要強化對多媒體內容處理的硬件性能——例如專用處理器或加速器,又要做好軟件優化,從而讓多媒體內容在不同平臺上制作或播放時都能達到優質表現。

圖:視頻技術與業務發展
2000年成立的科納斯工業協會(Khronos Group)即是為多媒體處理制定開放標準的行業組織,該協會自成立20多年來,推出過Open GL(跨平臺計算機圖形API)、Open CL(跨平臺通用計算API)、OpenXR(開放虛擬與增強現實標準)以及Vulkan(低開銷、跨平臺圖像處理API)等被業界廣泛接受的技術標準庫。而芯原股份則是中國第一大IP廠商,在圖像/視頻IP方面有豐富的產品線,芯原可擴展Vivante GPU IP應用覆蓋從低功耗的可穿戴應用(GPU Nano IP系列)到面向汽車和計算機應用的強大SoC(GPUArcturus圖形IP),可滿足不同應用中對芯片尺寸和功耗預算,極具成本效益。作為科納斯工業協會董事會成員(科納斯董事會成員有兩家中國廠商,另一家是華為公司),芯原GPU/NPU對科納斯工業協會標準支持非常完善,雙方在新技術開發上合作也很緊密,持續為開發人員提供更好的圖像/視頻/計算IP和標準API。

圖:強大的IP產品組合提供領先的技術
在開幕致辭上,芯原商業運營高級副總裁汪洋表示,隨著先進工藝發展,芯片開發成本越來越高,因此催生新的設計方法論,越來越多的設計公司開啟“輕設計”模式,重視IP在芯片開發中的作用,也愿意嘗試各種加速開發的設計方法。作為全球領先的設計服務與IP廠商,芯原在圖像/視頻處理方面陣容齊整,是業界僅見的能提供GPU、VPU、NPU、DPU、ISP、DSP、壓縮、加解密等全套圖像與視頻IP解決方案的廠商。

圖:全球半導體IP市場持續增長

圖:芯片開發成本越來越高
芯原執行副總裁、IP事業部總經理戴偉進則具體介紹了芯原在圖像領域從攝像頭到屏幕的完整智能像素解決方案。“對于芯片開發來說,API是關鍵,主要是因為通過統一API可以直接對接軟件生態系統,滿足從高性能云到可穿戴的要求。”戴偉進表示,芯原和Khronos工業協會合作密切,截止到2021年初,芯原支持科納斯工業協會技術標準的GPU已經出貨超過10億顆。在GPU領域,芯原從2007年至今已經取得了長足的發展,算力實現了幾百倍進步,在汽車領域,全球有數百萬輛汽車都用到了芯原技術。
科納斯的整體情況由科納斯工業協會主席、英偉達生態系統開發副總裁、OpenCL工作組主席Neil Trevett介紹。科納斯是由會員所驅動的非盈利性工業協會,其目標是大家一起開發免版稅的標準以及蓬勃活躍的生態鏈,以把芯片加速的功效,用在要求苛刻的圖像渲染和涉及超大計算量的應用上,通過標準化技術來減少開發成本,加速上市時間,并通過標準加深行業溝通來推動創新。科納斯會員來自世界各地工業界的領袖。目前包括Vulkan、OpenGL、WebGL、OpenCL以及OpenXR等標準都由科納斯來負責維護。
當前科納斯工業協會共有150多家會員,其中40%為美國公司,30%為歐洲公司,30%為亞洲公司。在會員管理上,科納斯極其開放,只要申請就可以成為會員,而且每個會員都有投票權。會員與非會員都可以提出自己的技術標準,Trevett表示,一個真正開放的標準,不能以任何一個公司為主導,可以每個公司都貢獻一點。目前科納斯主要面向包括高性能3D圖像、3D資產授權和交付、可移植的XR虛擬和增強現實以及并行計算/視覺/機器學習和推理四大方向。

圖:恩智浦與VeriSilicon合作開發機器學習技術
在正式的技術研討會環節,芯原機器學習軟件副總裁查凱南、芯原IP解決方案副總裁張慧明、芯原多媒體SoC平臺首席工程師妙維先后發表演講,對芯原NPU、GPU和AR/VR解決方案等進行了介紹。
查凱南表示,當前芯原的人工智能算力可滿足從0.5 TOPS到200 TOPS,具有同一套軟硬件,因此非常容易實現同系列產品的平臺遷移。查凱南表示,目前人工智能主要是三大領域,包括機器視覺,語音識別以及 像素級別的圖像處理。此外,查凱南還特別強調了芯原針對NPU的編譯器進行了投資,支持在線和離線編譯,滿足客戶的不同需求。
張慧明表示,在光線追蹤方面,芯原產品已經在NXP iMX8QM(采用了GC7000 GPU)上實現。同時,針對可穿戴領域,芯原和科納斯共同推廣OpenVG應用場景,以輕量級IP實現了高性能的結果。在GPGPU上,芯原同樣用類似的架構實現,開發者可以根據不同的場景選擇不同規模的實現方式。
妙維強調,AR/VR系統要求更低延時、更低功耗的整體解決方案,因此不需要DDR的直接渲染技術,同時滿足了高性能和低功耗的需求,非常適合XR應用場景。
在技術研討環節,Trevett介紹了科納斯的API,包括OpenCL、OpenVX、SYCL以及Vulkan。
Vulkan光線追蹤是業界第一個開放、跨廠商、跨平臺的光線追蹤加速標準。Vulkan是輕量級API,大幅減少驅動程序,并為程序員提供更多靈活性。OpenCL則是跨供應商的標準API,是第一個面向異構系統通用目的并行編程的開放式、免費標準,也是一個統一的編程環境,支持多核心CPU、GPU、NPU、DSP以及其他并行處理器。OpenVX是一種開放的,免版稅的標準,用于跨平臺加速計算機視覺應用程序。OpenVX可實現性能和功耗優化的計算機視覺處理,這在嵌入式和實時使用情況下尤其重要。SYCL是一種免版稅,跨平臺的抽象層,它允許使用標準ISO C ++編寫異構處理器的代碼,并在同一源文件中包含應用程序的主機代碼和內核代碼。

圖:OpenVX框架
同時,Trevett還介紹了SPIR-V,SPIR-V正在推動用于表示并行計算和基于GPU的圖形的著色器和內核語言編譯器的生態系統革命。SPIR-V使高級語言前端能夠以標準化的中間形式發出程序,以供Vulkan,OpenGL或OpenCL驅動程序提取。SPIR-V消除了設備驅動程序中對高級語言前端編譯器的需求,從而大大降低了驅動程序的復雜性,使廣泛的語言和框架前端可以在各種硬件體系結構上運行,并促進開源分析生態系統,移植,調試和優化工具。
目前,科納斯正在嘗試建立嵌入式攝像頭API小組,如今包括汽車、工業自動化等領域越來越依賴于攝像頭,但并沒有廣泛的跨供應商標準,使得新的傳感器集成到嵌入式系統中的成本和時間依然漫長,為了保存客戶的軟硬件投資,該小組正在積極和歐洲機器視覺聯盟合作,以提供標準的跨平臺統一方案。
科納斯工業協會開發者關系Kris Rose則介紹了Vulkan的技術。他表示,Vulkan更強調應用層,淡化驅動層,因此效率更高,開發者可以與GPU更近。Vulkan支持各類平臺,因此一次渲染就可以部署到各個平臺中,并且MacOS和iOS也可以通過MoltenVK進行移植。如今無論是在游戲,還是非游戲的工業應用中,Vulkan都實現了快速發展。包括ILM、AImotive、Solidworks和Disso Systems等公司,都選擇了Vulkan。
英特爾AR/VR首席軟件架構師,OpenXR工作小組主席Brent Insko介紹了針對AR/VR的OpenXR技術更新。Insko表示,在使用OpenXR之前,應用程序開發人員必須根據每個平臺的專有API進行編程,因此無論是從開發的角度,還是從驗證和測試的角度,都將成為一項艱巨的挑戰。而OpenXR則允許開發人員使用通用的高性能API,OpenXR可以與任何3D API一起使用。Insko介紹道,目前微軟已經宣布,Minecraft的新RenderDragon渲染引擎正在通過OpenXR創建其桌面VR支持。目前OpenXR有手部和眼部追蹤功能,針對高級用戶界面的跨供應商擴展,以及試驗性的疊加層擴展。

圖:VeriSilicon IP產品組合–可擴展IP
“我們已經從微軟,Oculus和HTC得到了官方一致的運行時間。我們有來自Valve、Varjo和Collabora的預覽實現。并且得到了Unreal, Blender, Chrome, Edge的支持。”Insko說道。
在研討會中,來自騰訊、阿里巴巴、中國移動研究院、彌知科技和華為公司的技術專家分別講述了NCNN、MNN等神經網絡算法,以及XR的各種應用落地情況。從算法、IP到應用落地,本次技術研討會為專業觀眾帶來了一場多媒體處理的技術盛宴。
請輸入評論內容...
請輸入評論/評論長度6~500個字
最新活動更多
-
5月20日立即參評>> 【評選】維科杯•OFweek 2026中國智能制造行業年度評選
-
5月29日立即下載>> 【白皮書】工業視覺AI實戰白皮書合集
-
5月30日立即報名>> 2026激光行業應用創新發展藍皮書火熱招編中!
-
5月31日立即下載>> 【白皮書】村田室內外定位解決方案
-
即日-5.31立即申報>>> 維科杯·OFweek 2026光學行業年度評選
-
5月31日立即申報>>> 維科杯•OFweek 2026激光行業年度評選


分享









