MIT又一突破!用AI過濾音源,讓音樂更悅耳
一般利用均衡器可以將音樂中的低音部分調出來,但是麻省理工學院的計算機科學和人工智能實驗室(Computer Science and Artificial Intelligence Lab,CSAIL)的研究人員發(fā)現了更好的解決方案。他們所研發(fā)的新系統(tǒng) PixelPlayer,能夠利用人工智能來區(qū)分和過濾聲音,讓音樂聽起來更洪亮或更柔和。
將指定視頻錄入經過充分訓練的 PixelPlayer,系統(tǒng)隨機能夠過濾伴奏,同時識別音源,接著計算圖像中每個像素的音量,然后通過“空間定位”確定產生相似音波的片段。
今年9月,德國慕尼黑即將舉行歐洲計算機視覺會議(European Conference on Computer Vision),會議中要發(fā)表的一篇新論文則詳細論述了“像素的聲音(The Sound of Pixels)”。麻省理工學院計算機科學和人工智能實驗室的博士生,同時也是這篇論文的合著者 Zhao Hang 同學表示,“最好的情況就是,我們能識別出哪種樂器發(fā)出怎樣的聲音。”
PixelPlayer 的核心是一種基于樂器組合多模態(tài)訓練的神經網絡,數據集采用了 Youtube 上 714 條未經修剪且未經標記的視頻。其中,總時長為 60 小時的 500 條視頻用于訓練,剩余的則用于驗證和測試。在訓練過程中,研究人員分別根據原聲吉他、大提琴、單簧管、長笛和其他樂器向系統(tǒng)饋入了算法。
這只是 PixelPlayer 多重機器學習框架的一個部分。經過訓練后的視頻分析算法將從剪輯幀中提取出視覺特征,這就是系統(tǒng)的第二個神經網絡,即音頻分析網絡。音頻分析網絡將聲音拆分為片段,并從中提取特征。最后,音頻合成網絡將把上述兩個網絡輸出的特定像素和聲波關聯起來。
PixelPlayer 進行完全自監(jiān)督的學習,人們無需對數據注釋,而且系統(tǒng)目前已經能識別 20 種樂器。Zhao Hang 說,較大的數據集增強了系統(tǒng)的識別量,但識別樂器子類的能力卻不佳。系統(tǒng)也可以識別音樂元素,例如小提琴的諧波頻率。
研究人員認為 PixelPlayer 可以進行聲音剪輯,或者幫助機器人理解動物、車輛和其他物體所制造的環(huán)境聲音。他們寫到,“我們希望我們的工作能夠開辟新的研究途徑,從視覺和聽覺信號角度實現聲源分離”。(編譯:楊卟咚)
請輸入評論內容...
請輸入評論/評論長度6~500個字
最新活動更多
- 1 AI狂歡遇上油價破百,全球股市還能漲多久? | 產聯看全球
- 2 OpenAI深夜王炸!ChatGPT Images 2.0實測:中文穩(wěn)、細節(jié)炸,設計師慌了
- 3 6000億美元估值錨定:字節(jié)跳動的“去單一化”突圍與估值重構
- 4 Tesla AI5芯片最新進展總結
- 5 連夜測了一波DeepSeek-V4,我發(fā)現它可能只剩“審美”這個短板了
- 6 熱點丨AI“瑜亮之爭”:既生OpenClaw,何生Hermes?
- 7 AI界的殺豬盤:9秒刪庫跑路,全員被封號,還繼續(xù)扣錢!
- 8 2026,人形機器人只贏了面子
- 9 DeepSeek降價90%:價格屠夫不是身份,是戰(zhàn)略
- 10 AI Infra產業(yè)鏈卡在哪里了?
- 高級軟件工程師 廣東省/深圳市
- 自動化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結構工程師 廣東省/深圳市


分享













