如今2022年世界杯如火如荼，轉(zhuǎn)眼就到了關(guān)鍵的八分之一決賽，期間抖音同步上線的“無障礙字幕直播間”也著實火了一把，成功點亮了熱榜并位居前列。
據(jù)了解，該功能正是借助火山同傳的技術(shù)能力以及火山語音的語音識別能力，輸出更加快速精準(zhǔn)的同傳字幕，為觀賽帶來優(yōu)質(zhì)體驗。話說字幕看球“更快更準(zhǔn)更專業(yè)”的背后究竟有啥黑科技加持？火山語音帶你一起瞧瞧！
「端到端語音識別：更快更準(zhǔn)的法寶」眾所周知，對語音的精準(zhǔn)快速識別能力是實現(xiàn)同傳字幕的重要基礎(chǔ)。為了應(yīng)對世界杯賽場差別各異的解說口音和語速，火山語音團隊基于RNN-T框架，通過大量訓(xùn)練數(shù)據(jù)的積累和持續(xù)的算法優(yōu)化，推出自研端到端的流式語音識別系統(tǒng)，有效規(guī)避了傳統(tǒng)的語音識別系統(tǒng)中涉及的大量人工流程，例如依賴專業(yè)人員設(shè)計各種口音的發(fā)聲規(guī)則等。
“這樣的語音識別系統(tǒng)并不需要關(guān)注底層發(fā)音字典以及有關(guān)的音素信息，采用純數(shù)據(jù)驅(qū)動的方式就可完成，系統(tǒng)復(fù)雜度簡化很多，構(gòu)建起來更加容易，效果還會更好。”火山語音團隊表示。實踐顯示，優(yōu)化后的模型不僅對口音和復(fù)雜場景展現(xiàn)出更強的魯棒性，而且對領(lǐng)域詞匯的識別能力以及推理速度，字幕上屏速度也得到了大幅度提升。
「背景聲優(yōu)化：細(xì)節(jié)之處降低錯誤率」正如球賽結(jié)果的變數(shù)頗多，世界杯賽場的環(huán)境更是紛繁復(fù)雜，在同傳字幕的語音識別過程中會“遭遇”大量背景噪音，例如背景音樂以及現(xiàn)場球迷的歡呼聲等。針對噪聲影響識別效果的問題，團隊早就關(guān)注到該細(xì)節(jié)并通過一套自動化的方式從足球比賽音頻中提取出這些噪聲片段，并且在模型中顯式地建模噪聲，將噪聲誤出字的比例下降了95%，同時通過數(shù)據(jù)增強方式提高聲學(xué)模型在足球場景下的魯棒性，即在有背景音的情況下也能清晰識別人聲，實現(xiàn)更好的流式字幕效果。
「專項提升：讓字幕效果更佳」“世界杯可不是一般的比賽，這種全球范圍的大型賽事中，大量的專業(yè)術(shù)語以及外籍教練與運動員的人名，會為語音識別帶來不小的困難，也為我們帶來很大的挑戰(zhàn)。”對此火山語音團隊率先整理了大量與足球相關(guān)以及與世界杯相關(guān)的語料，在這些語料的基礎(chǔ)上訓(xùn)練語言模型，通過語言模型干預(yù)的方式，提高了模型在足球領(lǐng)域的適配性。具體根據(jù) RNN-T 的建模方式，通過解藕聲學(xué)模型和語言模型，構(gòu)建了一套靈活和高效的語言模型干預(yù)流程。
對于教練與運動員人名識別難的問題，“我們從足球相關(guān)語料中自動挖掘?qū)Ｓ忻~、球隊和球員名稱等術(shù)語，通過在解碼備選中引入FST邏輯結(jié)構(gòu)，結(jié)合“匹配走圖+Backoff權(quán)重償還”的方式對熱詞進(jìn)行干預(yù)，有效利用該熱詞專項技術(shù)優(yōu)化后，這些術(shù)語的召回從 64% 提升到 84%；同時還聯(lián)合火山語音音頻合成團隊的同學(xué)，采用TTS技術(shù)合成術(shù)語音頻，并加入聲學(xué)模型訓(xùn)練中，將這些術(shù)語的召回進(jìn)一步提高到90%，進(jìn)而為觀眾呈現(xiàn)最佳的字幕效果。”
一直以來，火山語音的語音識別技術(shù)不斷追求更快、更準(zhǔn)、更穩(wěn)定且更強悍的目標(biāo)，其自主研發(fā)的端到端語音識別系統(tǒng)CIF，與Attention-Based model相比，其整合發(fā)放機制可以更自然適用于流式任務(wù)且復(fù)雜度有所降低，解碼效率相比RNN-T有很大優(yōu)勢。即在中文公開數(shù)據(jù)集上的測試結(jié)果非常有競爭力，在英文公開數(shù)據(jù)集Librispeech的test-clean子集上也達(dá)到了SOTA的效果。同時為了進(jìn)一步提高模型推理速度，火山語音團隊還設(shè)計了一套針對語音識別的自動化模型壓縮框架，在保證模型識別效果的同時降低模型尺寸，從而可以在移動終端上實現(xiàn)接近云端的語音識別效果。
如今在火山語音的語音識別技術(shù)支持下，火山引擎語音識別產(chǎn)品已廣泛應(yīng)用于視頻娛樂、辦公會議、硬件交互、智能客服等諸多行業(yè)，為客戶提供了優(yōu)質(zhì)有前景的語音識別解決方案。例如針對時下火熱的音視頻創(chuàng)作推出的智能字幕解決方案，一改傳統(tǒng)字幕10分鐘視頻3小時制作的耗時費力，不但能在幾秒鐘內(nèi)自動生成精準(zhǔn)的語音識別結(jié)果，還能兼容多種口音、語種和方言，甚至針對創(chuàng)作常見的配樂和歌曲場景開發(fā)了歌曲識別的亮點功能，大大縮減了創(chuàng)作門檻，提升了創(chuàng)作的智能化。
為應(yīng)對會議線上化的大趨勢，火山語音上線的實時字幕解決方案不僅可以幫助參會人更好理解會議內(nèi)容并回顧結(jié)論，還能通過“識別+翻譯”的同傳方案高效完成跨國、跨語言的溝通和交流；方案中包含的會議轉(zhuǎn)寫能力，不但可以準(zhǔn)確記錄參會人的討論內(nèi)容，還能根據(jù)說話人特征進(jìn)行自動歸類和整理，通常1小時的會議只需2-3分鐘即可輸出會議記錄，方便快捷。近日，火山引擎語音識別產(chǎn)品獲得了國家語音及圖像識別產(chǎn)品質(zhì)量檢驗檢測中心（以下簡稱“AI國檢中心”）頒發(fā)的語音識別增強級檢驗檢測證書，也充分表明火山語音的語音識別技術(shù)能力已達(dá)到行業(yè)領(lǐng)先水平。
長期以來，火山語音面向字節(jié)跳動各大業(yè)務(wù)線提供行業(yè)優(yōu)質(zhì)的AI語音技術(shù)能力以及全棧語音產(chǎn)品解決方案，并通過火山引擎對外提供服務(wù)。目前團隊的語音識別和語音合成覆蓋了多種語言和方言，涵蓋音視頻、有聲閱讀、語音交互、游戲、廣告等多種應(yīng)用場景，為抖音、剪映、飛書、番茄小說、PICO等核心業(yè)務(wù)提供了領(lǐng)先的語音能力。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
