大語(yǔ)言模型（LLMs）作為語(yǔ)言理解與生成的基礎(chǔ)技術(shù)，其應(yīng)用已擴(kuò)展至語(yǔ)音處理領(lǐng)域，如語(yǔ)音識(shí)別、對(duì)話系統(tǒng)等新興方向。然而，構(gòu)建基于LLMs的語(yǔ)音對(duì)話系統(tǒng)面臨核心挑戰(zhàn)：真實(shí)多語(yǔ)種對(duì)話數(shù)據(jù)的稀缺性。這類(lèi)數(shù)據(jù)需涵蓋自然停頓、說(shuō)話者重疊等復(fù)雜交互場(chǎng)景，對(duì)提升AI系統(tǒng)的多語(yǔ)種理解能力和長(zhǎng)上下文處理能力至關(guān)重要，直接影響下一代人機(jī)交互的自然度與準(zhǔn)確性。為推動(dòng)這一研究發(fā)展，由數(shù)據(jù)堂主辦，中國(guó)移動(dòng)、Meta、Google、 Samsung、NAVER聯(lián)合贊助的INTERSPEECH2025多語(yǔ)種對(duì)話語(yǔ)音語(yǔ)言模型（MLC-SLM）研討會(huì)正式對(duì)外發(fā)布，本次研討會(huì)將通過(guò)發(fā)布多語(yǔ)種對(duì)話語(yǔ)音數(shù)據(jù)集并舉辦MLC-SLM挑戰(zhàn)賽，推動(dòng)該領(lǐng)域的技術(shù)突破。

一、核心亮點(diǎn)

1. 雙賽道任務(wù)，均要求參賽者探索基于 LLM 的語(yǔ)音模型的開(kāi)發(fā)：

(1) 任務(wù)I：多語(yǔ)種對(duì)話語(yǔ)音識(shí)別

① 目標(biāo)：開(kāi)發(fā)基于 LLM 的多語(yǔ)種 ASR 模型。

② 參賽者將獲得每段對(duì)話的真實(shí)時(shí)間戳標(biāo)注及說(shuō)話者標(biāo)簽用于切分語(yǔ)音片段。

③ 該任務(wù)的重點(diǎn)是優(yōu)化多語(yǔ)種對(duì)話環(huán)境下的語(yǔ)音識(shí)別準(zhǔn)確率。

(2) 任務(wù)II：多語(yǔ)種對(duì)話語(yǔ)音日志與識(shí)別

① 目標(biāo)：開(kāi)發(fā)一個(gè)同時(shí)進(jìn)行說(shuō)話者日志（即識(shí)別誰(shuí)在何時(shí)說(shuō)話），又能進(jìn)行語(yǔ)音識(shí)別（將語(yǔ)音轉(zhuǎn)換為文本）的系統(tǒng)。

② 評(píng)估過(guò)程中不提供任何先驗(yàn)信息，如真實(shí)時(shí)間戳標(biāo)注、預(yù)先切分的語(yǔ)音片段、說(shuō)話者標(biāo)簽等

③ 該任務(wù)可以使用基于級(jí)聯(lián)系統(tǒng)或端到端系統(tǒng)的方法。

對(duì)于任務(wù) I，系統(tǒng)性能將基于不同語(yǔ)言的詞錯(cuò)誤率（WER）或字符錯(cuò)誤率（CER）進(jìn)行評(píng)估。

對(duì)于任務(wù) II，性能將基于說(shuō)話人日志錯(cuò)誤率（DER）以及連接最小排列詞錯(cuò)誤率（cpWER）或字符錯(cuò)誤率（cpCER）進(jìn)行評(píng)估。DER用于確定在參考標(biāo)注和日志結(jié)果之間的最佳說(shuō)話人排列。然后，將同一說(shuō)話人識(shí)別結(jié)果和參考進(jìn)行連接，以計(jì)算cpWER或cpCER。所有提交將根據(jù)cpWER或cpCER進(jìn)行排名。

2. 多語(yǔ)種對(duì)話語(yǔ)音數(shù)據(jù)集

11種語(yǔ)言：英語(yǔ)（細(xì)分美/英/澳/印/菲口音）、法、德、日、韓等，總時(shí)長(zhǎng)1500小時(shí)。

(1) 數(shù)據(jù)特性：

① 自然對(duì)話場(chǎng)景：每段錄音均由兩位說(shuō)話者就隨機(jī)分配的主題進(jìn)行有意義的對(duì)話，需提供真實(shí)時(shí)間戳標(biāo)注和說(shuō)話者標(biāo)簽。

② 高精度標(biāo)注：日、韓語(yǔ)標(biāo)注詞準(zhǔn)確率95%+，其他語(yǔ)言98%。

③ 多設(shè)備錄制：使用iPhone等設(shè)備并于安靜的室內(nèi)環(huán)境采集，采樣率16kHz。

(2) 數(shù)據(jù)集結(jié)構(gòu)：

① 訓(xùn)練集：英語(yǔ)500小時(shí)（分5種口音）+其他語(yǔ)言各100小時(shí)，任務(wù)I/II共享。

② 開(kāi)發(fā)集：每語(yǔ)種約4小時(shí)，任務(wù)I/II共享。

③ 評(píng)估集：每個(gè)任務(wù)使用不同的評(píng)估集，分別指定為 Eval_1 和 Eval_2。具體來(lái)說(shuō)，Eval_1 包括真實(shí)時(shí)間戳標(biāo)注和說(shuō)話者標(biāo)簽，使用 WER/CER 進(jìn)行評(píng)估。Eval_2 不提供時(shí)間戳或說(shuō)話者標(biāo)簽，因此需要使用說(shuō)話者日志系統(tǒng)在識(shí)別之前對(duì)較長(zhǎng)的錄音進(jìn)行分段。

參與者可以通過(guò)簽署數(shù)據(jù)使用協(xié)議并提交至報(bào)名表單來(lái)訪問(wèn)數(shù)據(jù)集（具體詳情前往數(shù)據(jù)堂官網(wǎng)--INTERSPEECH2025 多語(yǔ)言會(huì)話語(yǔ)音語(yǔ)言模型研討論會(huì) 查看）。提交后，數(shù)據(jù)下載鏈接將發(fā)送到您的電子郵件。

 

3. 學(xué)界與產(chǎn)業(yè)界雙重背書(shū)

• 組委會(huì)：馮俊蘭（IEEE Fellow及首席科學(xué)家/中國(guó)移動(dòng)）、Eng-Siong Chng（教授/南洋理工大學(xué)）、Shinji Watanabe（副教授/卡內(nèi)基梅隆大學(xué)）、Khalid Choukri（秘書(shū)長(zhǎng)/歐洲語(yǔ)言資源協(xié)會(huì)）等全球頂尖專(zhuān)家領(lǐng)銜。

• 贊助商：中國(guó)移動(dòng)、Meta、 Google、 Samsung、 NAVER、數(shù)據(jù)堂

二、參賽價(jià)值

• 獎(jiǎng)金池20,000美金：?jiǎn)稳蝿?wù)前三名分別獲5,000/3,000/2,000美金。

• 論文發(fā)表機(jī)會(huì)：優(yōu)秀成果可入選INTERSPEECH研討會(huì)，與頂級(jí)學(xué)者同臺(tái)交流（參考下文“其他主題”）。

• 技術(shù)自由度：允許使用外部數(shù)據(jù)集與預(yù)訓(xùn)練模型（需公開(kāi)聲明），支持?jǐn)?shù)據(jù)增強(qiáng)。

注：參加研討會(huì)的注冊(cè)費(fèi)

• 非會(huì)員注冊(cè)費(fèi)：60歐元

• 非會(huì)員學(xué)生注冊(cè)費(fèi)：45歐元

• ISCA會(huì)員注冊(cè)費(fèi)：50歐元

• ISCA學(xué)生會(huì)員注冊(cè)費(fèi)：35歐元

三、關(guān)鍵日程（AOT時(shí)間）

2025 年 3 月 10 日：注冊(cè)開(kāi)放

2025 年 3 月 15 日：訓(xùn)練數(shù)據(jù)發(fā)布

2025 年 4 月 1  日：開(kāi)發(fā)集和基線系統(tǒng)發(fā)布

2025 年 5 月 15 日：評(píng)估集發(fā)布及Leaderboard開(kāi)放

2025 年 5 月 30 日：Leaderboard凍結(jié)，論文提交系統(tǒng)（CMT）開(kāi)放

2025 年 6 月 15 日：論文提交截止

2025 年 7 月 1 日：論文錄用通知

2025 年 8 月 18 日：荷蘭鹿特丹研討會(huì)（鹿特丹阿霍伊?xí)h中心）

四、參賽必讀

所有參與者必須遵守以下規(guī)則：

• 外部資源使用：對(duì)于任務(wù)I 和 任務(wù)II，允許使用外部數(shù)據(jù)集和預(yù)訓(xùn)練模型（包括語(yǔ)音基礎(chǔ)模型和大語(yǔ)言模型）。所有使用的外部資源必須是公開(kāi)可獲取的，并且在最終系統(tǒng)報(bào)告中應(yīng)明確標(biāo)明。

• 數(shù)據(jù)增強(qiáng)：允許在發(fā)布的訓(xùn)練集上進(jìn)行數(shù)據(jù)增強(qiáng)，可能包括但不限于添加噪聲或混響、速度擾動(dòng)和音調(diào)修改。

• 禁止使用評(píng)估集：嚴(yán)禁以任何形式使用評(píng)估集。這包括但不限于使用評(píng)估集進(jìn)行微調(diào)或訓(xùn)練模型。

• 多系統(tǒng)融合：參與者不得在任務(wù)I和任務(wù)II中使用系統(tǒng)融合。提交的結(jié)果必須來(lái)自單個(gè)模型，而不是通過(guò)結(jié)果融合得出。

• 提交要求：所有參賽者必須提交其系統(tǒng)。提交內(nèi)容包括最終識(shí)別結(jié)果、模型以及能夠直接進(jìn)行推理并獲得最終結(jié)果的Docker容器等文件。詳細(xì)的提交說(shuō)明將在基線系統(tǒng)發(fā)布后提供。請(qǐng)注意，我們將公開(kāi)那些確認(rèn)參與但未提交任何文件的團(tuán)隊(duì)及其所屬機(jī)構(gòu)的名稱(chēng)。

• 主辦方解釋權(quán)：主辦方對(duì)本規(guī)則擁有最終解釋權(quán)，特殊情況由主辦方酌情協(xié)調(diào)解釋。

五、其他主題

除了挑戰(zhàn)系統(tǒng)內(nèi)容外，還鼓勵(lì)參與者提交創(chuàng)新發(fā)和前瞻性研究論文。主題包括但不限于：

• 新穎的架構(gòu)和算法：開(kāi)發(fā)用于訓(xùn)練語(yǔ)音語(yǔ)言模型的新架構(gòu)和算法。

• 音頻數(shù)據(jù)處理管線：創(chuàng)新音頻數(shù)據(jù)處理流程，促進(jìn)多樣化互聯(lián)網(wǎng)數(shù)據(jù)的收集，以便訓(xùn)練語(yǔ)音語(yǔ)言模型。

• 自然且情感豐富的語(yǔ)音生成：設(shè)計(jì)用于生成更加自然且富有情感表達(dá)的對(duì)話語(yǔ)音的算法，提升對(duì)話系統(tǒng)的表現(xiàn)。

• 利用多輪對(duì)話歷史：利用多輪對(duì)話歷史來(lái)增強(qiáng)識(shí)別和分離結(jié)果的技術(shù)

• 評(píng)估技術(shù)和基準(zhǔn)：評(píng)估語(yǔ)音語(yǔ)言模型的創(chuàng)新評(píng)估技術(shù)或基準(zhǔn)。

• 新數(shù)據(jù)集：創(chuàng)建用于訓(xùn)練語(yǔ)音和音頻語(yǔ)言模型的新數(shù)據(jù)集，包括真實(shí)數(shù)據(jù)和合成數(shù)據(jù)。

真實(shí)對(duì)話語(yǔ)音數(shù)據(jù)不僅對(duì)于技術(shù)進(jìn)步至關(guān)重要，還在構(gòu)建能夠理解多語(yǔ)種和長(zhǎng)上下文內(nèi)容的人工智能系統(tǒng)方面發(fā)揮關(guān)鍵作用。本次研討會(huì)通過(guò)發(fā)布高質(zhì)量的多語(yǔ)種對(duì)話語(yǔ)音數(shù)據(jù)集，并舉辦MLC-SLM挑戰(zhàn)賽，旨在為全球研究者和開(kāi)發(fā)者提供一個(gè)開(kāi)放的平臺(tái)，促進(jìn)該方向的研究。未來(lái)，隨著更多創(chuàng)新技術(shù)的涌現(xiàn)，基于LLMs的語(yǔ)音對(duì)話系統(tǒng)將更加智能、貼近人類(lèi)交流方式，為全球用戶提供無(wú)縫的多語(yǔ)言溝通體驗(yàn)。讓我們攜手共進(jìn)，開(kāi)啟人機(jī)交互的新篇章！