10月15日消息，巨人網(wǎng)絡(luò) AI Lab 與清華大學(xué)電子工程系 SATLab 的研究團隊聯(lián)合首創(chuàng)多方言語音合成大模型框架 DiaMoE-TTS ，數(shù)據(jù)代碼方法全開源，借此推動方言語音合成的公平與普惠。

在當(dāng)今大模型引領(lǐng)的語音合成時代，通用 TTS 系統(tǒng)已展現(xiàn)出令人驚嘆的能力，但方言 TTS 依然是相關(guān)從業(yè)者難以觸及的“灰色地帶”?，F(xiàn)有的工業(yè)級模型往往依賴巨量專有數(shù)據(jù)，這讓方言 TTS 從業(yè)者和研究者幾乎無從下手：缺乏統(tǒng)一的語料構(gòu)建方法，更缺乏一個可實現(xiàn)多語言的端到端開源框架。

雙方聯(lián)合首創(chuàng)的 DiaMoE-TTS ，這是一個在一定程度上媲美工業(yè)級方言 TTS 模型的開源全套解決方案。他們基于語言學(xué)家的專業(yè)經(jīng)驗，構(gòu)建了一個統(tǒng)一的 IPA 表達體系，并且在僅依賴開源方言 ASR 數(shù)據(jù)的前提下提出這一方案。

在推出廣東話、四川話、上海話等中文方言版本之前，研究團隊已在英語、法語、德語、荷蘭比爾茨語等多語種場景中進行過驗證，確保該方法具備全球范圍內(nèi)多語言的可擴展性與穩(wěn)健性。

巨人網(wǎng)絡(luò) AI Lab 與清華大學(xué)電子工程系 SATLab 希望借此推動方言語音合成的公平與普惠，讓任何研究者、開發(fā)者乃至語言文化保護工作者都能自由使用、改進與擴展這一框架；讓小眾語言與方言的聲音不再被淹沒在通用大模型的洪流中，而能通過開源的力量被更廣泛地聽見與傳承。