音樂這門生意越來越引起巨頭的關(guān)注。以往,比較音樂平臺靠的是曲目數(shù)量、藝人進駐數(shù)量,后來更看重版權(quán)的獨家。現(xiàn)在,以深度神經(jīng)網(wǎng)絡(luò)為代表的AI技術(shù)逐漸逼近落地,放眼全球,音樂平臺的AI大戰(zhàn)一觸即發(fā)。
2016年,谷歌大腦推出Magenta項目,從早期的NSynth神經(jīng)網(wǎng)絡(luò)音頻合成算法到如今從殘缺片段中恢復(fù)巴赫音樂的Coconet機器學習模型,更多以學術(shù)研究為導(dǎo)向。
世界三大音樂版權(quán)商之一的索尼,在音樂內(nèi)容本身上占據(jù)了極大的優(yōu)勢局面。2016年,索尼計算機科學實驗推出的大型歌曲和風格數(shù)據(jù)庫Flow Machines,創(chuàng)作出了“披頭士”風格的旋律。
谷歌與索尼旗下都擁有相應(yīng)的流媒體產(chǎn)品,如YouTube音樂服務(wù)和索尼精選Hi-Res。二者相似的是,流媒體或?qū)㈩嵏矀鹘y(tǒng)唱片公司和詞曲版權(quán)代理的地位,它們勢必要搶占一個新的產(chǎn)業(yè)協(xié)作模式“領(lǐng)頭羊”。不同之處在于,索尼更需要尋找音樂版權(quán)業(yè)務(wù)收入放緩后的下一個增長點。
智能音箱的普及下,谷歌還能以自家的智能音箱Home為核心,借此拉動智能家居生態(tài),但依靠低價補貼以吸引消費者的智能音箱走勢如今并不理想,未來終究依賴智能交互和整個場景的覆蓋。
面向中國市場的微軟“小冰”,如今已成長到第七代,基于Avatar Framework人工智能框架,除了智能對話、語音交互外,還主打模擬人類真聲、寫詞作曲。2018年,微軟小冰也提出了Dual AI半開放生態(tài)的戰(zhàn)略,并與多家國內(nèi)公司達成平臺化戰(zhàn)略,但仍未勾勒出清晰的商業(yè)邏輯。
一心野望海外市場的字節(jié)跳動,在完成對初創(chuàng)公司Jukedeck的收購后,又拿到了印度兩大唱片公司T-Series和Times Music的音樂版權(quán),試圖在旗下TikTok短視頻產(chǎn)品中利用神經(jīng)網(wǎng)絡(luò)合成音樂。短視頻承載了AI作曲實現(xiàn)大規(guī)模音樂的有效途徑,或許能緩解其在音樂版權(quán)上的壓力。
目前來看,谷歌、索尼、微軟小冰、字節(jié)跳動正全面發(fā)力AI,但落到AI音樂這個層次上,卻是參差不齊的。早期研究人員更多是讓計算機模仿現(xiàn)有的音樂片段,通過分析其中的規(guī)律來制作音樂旋律;AI創(chuàng)作音樂的不同之處在于,能讓計算機真正通過學習大量音樂片段,“自動”創(chuàng)作出相對復(fù)雜且富有故事性的樂曲。這個方向上,谷歌、索尼早早開始AI音樂創(chuàng)作性的探索;相比之下,被字節(jié)跳動收購的Jukedeck則更多停留在模仿階段,只能作為音樂流水線上的批量生產(chǎn)工具。
一定意義上,技術(shù)的進步推動著音樂產(chǎn)業(yè)的每一次進步,從最早的CD唱片到如今的AI音樂,音樂的生產(chǎn)、分發(fā)和消費形式呈現(xiàn)明顯的迭代升級。據(jù)國際唱片業(yè)協(xié)會(IFPI)報告數(shù)據(jù),2018年全球音樂市場收入同比增長9.7%,達到191億美元。這對于謀求業(yè)務(wù)深層次進化的科技巨頭來講,最終能否取勝將取決于對先機的把握。更重要的是,以AI驅(qū)動的音樂市場變革將會隨著巨頭們的頻繁動作而掀起新一輪的競爭。
AI正影響全球企業(yè)的競爭格局,音樂產(chǎn)業(yè)也進入由AI激活多元化價值的關(guān)鍵時期。
如今,中國平安在AI音樂展現(xiàn)出的實力,已遠超人們的想象。
10月11日,為新中國成立七十周年獻禮,平安人工智能研究院打造的全球首部AI交響變奏曲《我和我的祖國》由深圳交響樂團進行全球首次公演。
AI交響變奏曲《我和我的祖國》以中國近現(xiàn)代史為創(chuàng)作藍本,包含鴉片戰(zhàn)爭、新中國成立、共和國曲折發(fā)展、改革開放、民族復(fù)興等五大樂章,表現(xiàn)一序列歷史變遷。伴隨音頻演奏一段段歷史故事呈現(xiàn)其中,以表達對祖國深厚的感情。
可以說,這在交響變奏曲的音樂史上尚屬首例。音樂層面,它超越了此前的單維度、短篇幅、娛樂性的范圍,突圍多維度、長篇幅、經(jīng)典式交響樂曲;更重要的是,在AI技術(shù)的融入上,平安科技自研AVM自動變奏模型訓練系統(tǒng),再利用深度學習對音樂實現(xiàn)特征學習與提取,并結(jié)合強化學習技術(shù)讓機器學會變奏手法。
廣義上講,AI作曲并不是一個新名詞。從最早使用隨機統(tǒng)計模型,到如今深度神經(jīng)網(wǎng)絡(luò)的應(yīng)用,利用AI實現(xiàn)智能創(chuàng)作已成為世界范圍內(nèi)科學家廣泛探索的事情。盡管如此,在研究方法層面,我們?nèi)钥吹皆S多反復(fù)出現(xiàn)的問題:以數(shù)據(jù)驅(qū)動的算法,如何避免同質(zhì)化的音樂風格?如何讓AI更好地“理解”音樂?
帶著這個問題,雷鋒網(wǎng)對AI交響變奏曲《我和我的祖國》曲目團隊技術(shù)負責人進行了專訪。
“除了算法和數(shù)據(jù)標注上的一些技術(shù)手段,我們也在考慮直接對音樂的音頻做相應(yīng)的分析,目的也是能夠讓AI能對音樂本身的理解和認知變得越來越深刻?!痹摷夹g(shù)負責人表示。
雄厚技術(shù)鋪墊助力,勇攀AI音樂無人區(qū)
其實早在一年前,平安AI作曲就在由瑞士聯(lián)邦理工學院(EPFL)舉辦的世界AI作曲國際大賽中獲得第一名。今年2月,平安科技再次憑借AI創(chuàng)作的流行樂曲《青春記憶》拿下由清華大學藝術(shù)與科學研究中心等聯(lián)合舉辦的全球AI藝術(shù)大賽(GAAC)的第一名。
頻率頗高的成果突破背后,離不開平安AI團隊過去兩年多在智能創(chuàng)作領(lǐng)域的探索積淀。早在2017年,平安科技就啟動了音樂畫像臉譜、音樂流行預(yù)測以及人工智能作曲三大音樂發(fā)展方向,嘗試用AI融入音樂領(lǐng)域。目前團隊已積累了大量標注分析數(shù)據(jù)、自主研發(fā)可完成特定任務(wù)的生成模型,并構(gòu)建了符合音樂理論的評價體系。
此次創(chuàng)作籌備近兩個月,其中最核心的部分模型訓練則用了近一個半月時間。
AI交響變奏曲《我和我的祖國》曲目團隊技術(shù)負責人解釋道,“通常來講,一首交響曲的整個創(chuàng)作周期長達一年,這次創(chuàng)作實際上僅用一個半月,但其背后是長達兩年的技術(shù)儲備、模型學習和數(shù)據(jù)積淀。從交響變奏曲創(chuàng)作的技術(shù)角度來講,AI作曲仍存在很大的挑戰(zhàn),尤其是創(chuàng)作出一個滿意的作品交由人類指揮家認可并演奏。”要知道,交響變奏曲不同于一般的音樂生成過程,它有故事脈絡(luò),有強烈的情感抒發(fā)訴求。為此,項目組從以下三個層次進行技術(shù)演化:
自研AVM自動變奏模型
基于節(jié)奏、和聲、織體、配器等方面建立專家變奏規(guī)則庫,用于基礎(chǔ)模型訓練,然后利用深度學習和強化學習技術(shù)對音樂作品做多維度的特征學習與提取,訓練出具有風格融合能力的AVM自動變奏模型。
訓練超70萬首樂曲數(shù)據(jù)集,打造海量維度音樂標簽體系
為了讓機器學習及理解音樂的重要特征,團隊訓練數(shù)據(jù)使用了超過70萬首樂曲,包括各類題材的古典音樂作品、紅色歌曲、民歌等。并且,音樂標簽的標注遵循樂理知識,除了情緒、風格的標簽以外,也包含主題、發(fā)展手法、和聲、曲式、對位、配器、調(diào)性、調(diào)式、拍號等各類音樂元素。
靈活運用音樂評價模型和專家規(guī)則
對機器進行深度學習和強化學習訓練的還有音樂評價模型,即基于大量作曲家的作品學習所構(gòu)建的評價網(wǎng)絡(luò)。原則是遵循主流審美的同時,又需要兼顧作曲專家的評價標準。同時,為防止AI作曲生成過于自由,平安在人工智能樂曲創(chuàng)作的過程中融入了包含和聲約束、對位約束、曲式結(jié)構(gòu)約束等規(guī)則在內(nèi)的專家規(guī)則。
總的來說,在《我和我的祖國》這首改編作品中,除了開頭與結(jié)束采用了原始旋律外,中間融入了AI變奏的創(chuàng)作。在AI應(yīng)用的過程中,團隊綜合運用深度學習、強化學習和遷移學習的聯(lián)合方案,搭建自動變奏模型、音樂評價模型、專家規(guī)則系統(tǒng),基于對海量歷史音樂作品的數(shù)據(jù)庫和體系化的音樂標簽工程,拆解樂曲音符組合空間,優(yōu)選最佳音樂片段,從而完成本次創(chuàng)作。
平安AI+的獨特基因
那么,為什么一家外人眼中搞金融、醫(yī)療、智慧城市的綜合金融服務(wù)集團,竟然也涉足了音樂這一看似不相關(guān)的藝術(shù)領(lǐng)域?
翻看平安集團過去30年的跨越式發(fā)展,不難發(fā)現(xiàn)隱藏其后的推動力量。目前,平安用科技賦能金融,以平臺建設(shè)為主,搭建了金融、醫(yī)療、汽車、房產(chǎn)、智慧城市等五大生態(tài)圈,整體的業(yè)務(wù)布局已然浮現(xiàn),而平安人工智能研究院恰恰是集團底層技術(shù)儲備和應(yīng)用落地上的重要一環(huán)。
AI交響變奏曲《我和我的祖國》曲目團隊技術(shù)負責人表示:“平安人工智能研究院的建立,主要有兩件事:一是深入底層技術(shù)的研究和能力儲備;二是與當前企業(yè)應(yīng)用的場景結(jié)合起來。”在他看來,AI智能創(chuàng)作是研究院項目板塊中重要的組成部分之一。盡管落地上尚未清晰,更多還是一個相對比較初期、嘗試摸索和論證驗證的階段,但在底層技術(shù)的支撐是通用的。
此前,與金融、醫(yī)療、健康等業(yè)務(wù)的結(jié)合落地上,平安推出了智能閃賠、平安聲紋、平安票據(jù)OCR識別、平安語音識別、平安語音合成、平安醫(yī)療影像等產(chǎn)品。
在雷鋒網(wǎng)看來,平安“AI+音樂”領(lǐng)域探索的成功將主要歸于三點因素:
一是不僅擁有深度學習技術(shù)的儲備,更重要的還是團隊對音樂的深刻理解。
平安人工智能研究院的AI作曲項目團隊有大量的既懂得音樂理論又了解計算機算法的復(fù)合型人才,能夠?qū)⑶把氐腁I技術(shù)與柔性的音樂情感相融合,不斷突破人工智能技術(shù)的邊界,挖掘AI技術(shù)在音樂領(lǐng)域的潛能,實現(xiàn)AI作曲創(chuàng)作的最優(yōu)發(fā)展。
二是有相對可以落地的場景呈現(xiàn),并懂得如何去挖掘,如音樂治療、智能作曲。
從形式上看,AI變奏曲之后,平安科技也將會在古典樂、流行樂、作詞作曲演唱等方面做更多的嘗試和突破。AI融入藝術(shù)創(chuàng)作,大大降低了普通大眾的創(chuàng)作門檻,可以讓更多人加入到音樂創(chuàng)作,探索更多的音樂形式,極大地豐富了人們的生活。
三是數(shù)據(jù)和場景的不斷積累,將反哺集團在其他產(chǎn)業(yè)鏈條上的技術(shù)縱深,從某種意義上講,這將會是一種降維突破。
事實上,平安科技已經(jīng)在嘗試挖掘一些有趣的場景,把更多、更豐富、更個性化的藝術(shù)作品,通過AI的形式釋放出來。目前,從全行業(yè)來看,短視頻配樂、游戲配樂、影視配樂等場景中已涌現(xiàn)出了諸多對AI作曲的需求。未來,利用AI技術(shù)打造諸多應(yīng)用產(chǎn)品,實現(xiàn)產(chǎn)品輸出和業(yè)務(wù)輸出,通過構(gòu)建多角度一體化解決方案助力主營業(yè)務(wù)和生態(tài)圈層向更多元和精深的方向發(fā)展。
或許,在平安科技構(gòu)筑差異化優(yōu)勢的思考下,AI音樂創(chuàng)作僅是一小步的嘗試,但這不影響其結(jié)合自身科技積淀、主營業(yè)務(wù)以及所在行業(yè)的優(yōu)勢開始有側(cè)重點的發(fā)力。除卻商業(yè)層面的因素外,企業(yè)也會因其承擔的社會價值層次的不同,從不同的角度去定義,對AI藝術(shù)的發(fā)展產(chǎn)生不同程度的影響。
一不小心,AI讓我們認識了全新的自己
未來,平安將進一步拓展AI音樂應(yīng)用的場景和領(lǐng)域,例如音樂鑒賞、音樂教育、音樂治療等,此外,人工智能技術(shù)又進一步滲透到人類意識形態(tài)的藝術(shù)多維領(lǐng)域,如繪畫、作詩等。
不難預(yù)想,AI不僅改變了我們的創(chuàng)造能力,而且還提出了關(guān)鍵技術(shù)突破問題。未來,AI如何拓展人類的創(chuàng)造力?如何利用技術(shù)拓展藝術(shù)的邊界,豐富藝術(shù)的多元性? AI可以繪畫、編曲,但能否跟人類創(chuàng)作的作品一樣動人?
在談及AI對藝術(shù)產(chǎn)業(yè)的變革時,項目技術(shù)負責人認為,利用AI實現(xiàn)智能創(chuàng)作,實際上可以幫助作曲家、藝術(shù)家更高效地創(chuàng)作,探索他們原本不可能的作品、風格嘗試。但這其中,人的因素仍是藝術(shù)創(chuàng)作中最核心最重要的一環(huán)。
這一回答,無疑道出了未來人工智能發(fā)展的最大空間,AI所實現(xiàn)的東西越多,人類對創(chuàng)造力的標準也就越高。如何能夠最貼近人類的意識形態(tài),實現(xiàn)思維的豐富和想象力的突破,是AI技術(shù)面臨的最大難點。在更多的藝術(shù)領(lǐng)域,AI技術(shù)的介入極大地降低了藝術(shù)準入門檻,也讓藝術(shù)領(lǐng)域以更多樣的形式深入生活、產(chǎn)業(yè),甚至在某種程度上改善人類精神世界的發(fā)展進程。
其實AI承載歷史的案例一直在持續(xù):故宮博物院因為AI技術(shù)變成了網(wǎng)紅,《清明上河圖》因AI、3D、VR技術(shù)讓歷史“真實地”流動在眼前,而被熊熊大火重挫的巴黎圣母院也會在AI技術(shù)里找到另一個新的“自己”。
《我和我的祖國》AI交響變奏曲也是這種浪漫藝術(shù)與嚴謹科學的完美融合。
我們還看到,在新中國成立70周年的長篇卷軸上,我國的多項技術(shù)曾都帶來過革命性的突破。比如早期基于控制論的核技術(shù),到打破封鎖的超級計算機技術(shù),再到載人航天衛(wèi)星技術(shù),均讓國家實力大幅躍升。
走過工業(yè)化和信息化的70年后,我們進入了嶄新的智能化時代,平安《我和我的祖國》AI交響變奏曲克服了技術(shù)壁壘,某種程度上,也將人工智能技術(shù)帶進了嶄新領(lǐng)地,勢必會在偉大歷史節(jié)點上留下其濃墨重彩的一筆。
來源:雷鋒網(wǎng)
評論
查看更多