騰訊商世東:騰訊天籟自研AI算法,助力國產(chǎn)助聽器關(guān)鍵性能提升85%

2022年9月25日國際聾人日之際,在中國老齡事業(yè)發(fā)展基金會(huì)、中國聾人協(xié)會(huì)的指導(dǎo)下,騰訊天籟行動(dòng)召開2022年度發(fā)布會(huì),正式對(duì)外公布天籟行動(dòng)在聽障產(chǎn)品研發(fā)、公益救助、產(chǎn)研共創(chuàng)方面的關(guān)鍵成果。在產(chǎn)品研發(fā)層面,騰訊首次發(fā)布完全自研的助聽器核心算法解決方案,攜手助聽器廠商智聽科技聯(lián)合研發(fā),推出摯聽(騰訊天籟inside)助聽器“公益助老款”。

會(huì)上,騰訊會(huì)議天籟實(shí)驗(yàn)室主任商世東發(fā)表以《AI助聽,聆聽天籟》為主題的演講。商世東表示,“天籟行動(dòng)”的初衷就是希望通過技術(shù)開放提升助聽設(shè)備的使用效果,在運(yùn)營兩年的時(shí)間里,團(tuán)隊(duì)一直在思考如何能覆蓋到更多的聽障、聽損人士,為他們做得更多一些。

(圖:騰訊會(huì)議天籟實(shí)驗(yàn)室主任 商世東)

在中國,超過1.2億老年人正在喪失聽力。助聽器作為改善老年人聽力干預(yù)的重要設(shè)備,因價(jià)格昂貴、效果達(dá)不到預(yù)期等因素,在中國的老年聽障群體中的使用率很低。此次,騰訊會(huì)議天籟實(shí)驗(yàn)室通過將天籟AI音頻技術(shù)開放給國內(nèi)廠商,有效提升國產(chǎn)助聽器的使用體驗(yàn)。過去三個(gè)多月,騰訊會(huì)議天籟實(shí)驗(yàn)室、騰訊SSV銀發(fā)科技實(shí)驗(yàn)室等組成的聯(lián)合項(xiàng)目團(tuán)隊(duì)多次去往廣東韶關(guān)為當(dāng)?shù)氐睦先诉M(jìn)行聽力檢測(cè),并進(jìn)行摯聽(騰訊天籟inside)助聽器的驗(yàn)配、捐贈(zèng)工作。

商世東介紹,基于騰訊天籟實(shí)驗(yàn)室完全自研的助聽器核心算法解決方案,可將復(fù)雜場(chǎng)景下的語音清晰度和可懂度提升85%,讓千元級(jí)的國產(chǎn)助聽器也能媲美萬元級(jí)進(jìn)口助聽器產(chǎn)品的體驗(yàn)。在兼容IEC 60118和ANSI S3.22的測(cè)試環(huán)境下,摯聽(騰訊天籟inside)助聽器在六大關(guān)鍵指標(biāo)上都已經(jīng)達(dá)到、甚至部分指標(biāo)超過了進(jìn)口助聽器的水平。

同時(shí),為幫助聽障人士更友好地使用協(xié)同辦公工具。商世東宣布,騰訊會(huì)議與騰訊公益慈善基金會(huì)共同發(fā)起“無礙溝通”公益夢(mèng)想活動(dòng)。用戶參與騰訊會(huì)議低碳會(huì)議等公益行動(dòng),獲得小紅花并捐出以支持該公益夢(mèng)想。后續(xù),通過“一花一夢(mèng)想”創(chuàng)新的公益形式,將面向2萬名聽障人士捐贈(zèng)無障礙辦公禮包,持續(xù)關(guān)注聽障人士的用戶體驗(yàn),并持續(xù)提供關(guān)愛服務(wù)。

以下為商世東的演講實(shí)錄:

各位尊敬的領(lǐng)導(dǎo)、各位嘉賓、媒體朋友以及線上的觀眾朋友們,大家好,我是來自于騰訊會(huì)議天籟實(shí)驗(yàn)室主任商世東。我今天分享的主題是《AI助聽,聆聽天籟》。

在分享開始前,我想講三個(gè)簡單的故事。

有一位女孩,她叫戴柳昕,11歲,患有大前庭導(dǎo)水管綜合征所導(dǎo)致的極重度聽力障礙,3歲時(shí)就已經(jīng)植入了人工耳蝸;曹騰,他是一位運(yùn)動(dòng)員,22歲就是重度聽力障礙了,19歲時(shí)植入了人工耳蝸;唐臣,他今年77歲,長期在噪音工作環(huán)境,導(dǎo)致聽力重度聽損、老年性耳聾,70歲開始佩戴助聽器。

從三個(gè)故事中我們可以看到,聽清周圍的世界對(duì)我們來說是習(xí)以為常、再自然不過的事情,在他們來說卻是難事,而他們可以是青年、可以是兒童、也可以是老人。在中國,甚至是全球,聽障、聽損都是一個(gè)很龐大的群體。聽力障礙如果沒有得到及時(shí)、有效的干預(yù),對(duì)人的身體、心理都可能帶來長期負(fù)面的影響,可能會(huì)導(dǎo)致孤獨(dú)、焦慮、缺乏自信心、自我封閉等等。

在我過去二十多年的職業(yè)生涯里,一直都在和聲音打交道,做音頻相關(guān)的技術(shù)研究和產(chǎn)品化。兩年多前,我在和一些朋友聊天時(shí)得知,許多聽障朋友即使佩戴了輔聽設(shè)備,包括人工耳蝸、助聽器等等,在飯店、街道等嘈雜的環(huán)境下,依然會(huì)面臨著聽不清的困擾。當(dāng)時(shí)我們就在想,能不能把我們?cè)隍v訊會(huì)議里經(jīng)過多年的研發(fā)積累、數(shù)億用戶驗(yàn)證的語音降噪和增強(qiáng)技術(shù)用在助聽設(shè)備里,讓聽障人士能夠聽得見、聽得清、聽得真。

有了這樣的想法后,我們就開始尋找合適的伙伴。一開始很多合作伙伴并不清楚我們到底想做什么,我們也多次被拒絕過,中間與我們的合作伙伴進(jìn)行過很多次的磨合。雖然一直做聲音相關(guān)的事情,但助聽設(shè)備畢竟對(duì)我們來說是一個(gè)嶄新的領(lǐng)域,我們有很多跨界的知識(shí)需要學(xué)習(xí)。

2020年開始,經(jīng)過半年多的驗(yàn)證,我們當(dāng)時(shí)取得了一些初步成果,突破了人工耳蝸重度噪音實(shí)時(shí)處理的難題,并且在兩年前的國際聾人日正式發(fā)起“天籟行動(dòng)”,初衷就是希望通過技術(shù)開放提升助聽設(shè)備的效果。

“天籟行動(dòng)”已經(jīng)運(yùn)營兩年時(shí)間,目前我們擁有眾多國際、國內(nèi)的助聽合作廠商,比如來自奧地利的美迪樂、國內(nèi)廠商諾爾康、澳大利亞的科利爾以及中國聯(lián)通,都接入了我們的技術(shù)合作。天籟行動(dòng)與美迪樂合作,幫助聽損者提高單音節(jié)的識(shí)別率達(dá)到66%;我們和諾爾康合作,在設(shè)備上進(jìn)一步提升人工耳蝸的清晰度和可懂度達(dá)40%;我們和科利爾在頻率測(cè)聽、聲消并音以及聽能康復(fù)訓(xùn)練方面深度合作,為聽障人士提供從測(cè)聽到聽覺提升的全鏈條解決方案;“天籟行動(dòng)”還和中國聯(lián)通推出了聯(lián)通網(wǎng)卡升級(jí)版,用于輔聽和字幕識(shí)別,讓聽障人士不僅聽得清,還能夠看得清。

但是這還遠(yuǎn)遠(yuǎn)不夠,我們也一直在思考如何能做得更多一些,如何能覆蓋到更多的聽障、聽損人士。今年我們和業(yè)內(nèi)多位專家交流了解到,中國的老年聽障群體數(shù)量龐大,并且特別容易被忽視。相關(guān)數(shù)據(jù)顯示,每三位老年中,就有一位中度、重度甚至極重度的聽障患者,這個(gè)數(shù)據(jù)當(dāng)時(shí)讓我們非常震驚。在和很多朋友聊到這個(gè)問題時(shí),發(fā)現(xiàn)大家家里多多少少都有這樣的長輩。

老齡聽損問題,不管是老人自己還是后輩,大家都沒有重視這個(gè)問題,在我們普遍的認(rèn)知里,都覺得人老了、聾了是一件很自然的事情,不需要過多干預(yù),這是認(rèn)知層面的問題。但實(shí)際上當(dāng)一個(gè)老人聽力下降,會(huì)帶來很多實(shí)際問題,他們?cè)絹碓讲辉敢饨涣?,?huì)感到越來越孤單。相關(guān)研究表明,老人聽障和憂郁癥、認(rèn)知障礙有很強(qiáng)的相關(guān)性,與聽力正常者相比,聽力喪失的老年人更有可能發(fā)展阿爾茨海默病和癡呆癥。隨著一個(gè)人聽力損失越來越嚴(yán)重,相關(guān)的風(fēng)險(xiǎn)也越來越高。

所以從去年底開始,我們進(jìn)一步思考如何通過技術(shù)以及騰訊眾多的平臺(tái)資源幫助聽障和聽損的老人。今年3月3日的全國愛耳日,我們啟動(dòng)了天籟行動(dòng)2.0升級(jí)版,助聽器是幫助老年人進(jìn)行聽力干預(yù)的重要手段,我們把天籟AI音頻技術(shù)開放過國內(nèi)廠商,有效提升國產(chǎn)助聽器的使用體驗(yàn),通過聽力篩查、科普,提升大家對(duì)老年聽損的認(rèn)知,通過與中國老齡事業(yè)發(fā)展基金會(huì)成立天籟銀發(fā)關(guān)愛基金,給經(jīng)濟(jì)困難的老人免費(fèi)捐贈(zèng)天籟inside助聽器。4月份,首批天籟銀發(fā)關(guān)愛基金在廣東韶關(guān)試點(diǎn)落地。過去三個(gè)多月,我們團(tuán)隊(duì)的小伙伴多次去廣東韶關(guān)的仁化縣、乳源縣給當(dāng)?shù)氐睦先诉M(jìn)行聽力檢測(cè)和騰訊天籟inside助聽器驗(yàn)配。

在過去的半年時(shí)間里,天籟實(shí)驗(yàn)室攜手助聽器廠商智聽科技進(jìn)行聯(lián)合研發(fā),推出了摯聽(騰訊天籟inside)公益助老款,基于騰訊會(huì)議完全自研實(shí)現(xiàn)的助聽器核心算法解決方案,將復(fù)雜場(chǎng)景下的語音清晰度和可懂度提升了85%,讓千元級(jí)的國產(chǎn)助聽器也能媲美萬元級(jí)進(jìn)口助聽器產(chǎn)品的體驗(yàn)。

在我們搭建的兼容國際IEC 60118和ANSI S3.22標(biāo)準(zhǔn)測(cè)試環(huán)境下,我們對(duì)助聽器的六大關(guān)鍵指標(biāo)進(jìn)行了測(cè)量,系統(tǒng)延遲直接決定了整個(gè)助聽器的佩戴體驗(yàn);滿檔增益進(jìn)一步?jīng)Q定了對(duì)中重度患者的聽力補(bǔ)償;語音質(zhì)量、空間噪聲決定了在安靜環(huán)境下的音質(zhì)體驗(yàn);家居噪聲和街道噪聲則是聽障老人平時(shí)花時(shí)間最多的場(chǎng)景。在這六大關(guān)鍵指標(biāo)上,可以看到我們的表現(xiàn)非常出色,分別和京東上購買的兩款來自于北歐的進(jìn)口助聽器(相比),一款價(jià)值3萬元左右,另一款價(jià)值不到2萬元,分別在我們的環(huán)境下進(jìn)行了1對(duì)1的比較,可以看到天籟inside助聽器的體驗(yàn)非常出色和均衡,在六大關(guān)鍵指標(biāo)上都已經(jīng)達(dá)到,甚至部分指標(biāo)超過了進(jìn)口助聽器的水平。

當(dāng)然我們也意識(shí)到,目前我們的方案是基于一款通用的藍(lán)牙處理芯片,這跟進(jìn)口助聽器的專用處理芯片相比,在功耗上我們還有很大的區(qū)別,要進(jìn)一步優(yōu)化和提升,這也是為我們?nèi)蘸蟮墓ぷ?,指明了進(jìn)一步努力的方向。

我們把騰訊會(huì)議天籟實(shí)驗(yàn)室過往多年積累的技術(shù),包括國際比賽2020年DCASE聲學(xué)場(chǎng)景識(shí)別和分類比賽中獲得亞軍的關(guān)鍵突破性技術(shù),以及今年年初我們?cè)贗CASSP 2022 DNS語音增強(qiáng)和降噪比賽中獲得冠軍的個(gè)性化聲紋技術(shù)用在助聽器方案里。我們還把騰訊會(huì)議Rooms場(chǎng)景下獲得騰訊公司技術(shù)突破獎(jiǎng)的遠(yuǎn)場(chǎng)波速成形和反饋抑制等技術(shù),針對(duì)助聽器的低延時(shí)、低功耗場(chǎng)景了進(jìn)行深度優(yōu)化。我們還和智聽科技的聽力學(xué)專家一起,把針對(duì)中重度患者特別需要的聽力補(bǔ)償和聽力驗(yàn)配公式結(jié)合WDRC技術(shù)進(jìn)行了專門的適配和驗(yàn)配,用來組成我們的助聽器方案。后續(xù)我們會(huì)把助聽器完整的天籟inside解決方案面向業(yè)內(nèi)的合作伙伴進(jìn)一步開放,共同提升當(dāng)前助聽器的使用體驗(yàn)。

除了會(huì)議降噪、語音增強(qiáng)等場(chǎng)景,我們的技術(shù)也在騰訊會(huì)議的實(shí)時(shí)字幕中得到廣泛應(yīng)用。最近幾年,無論是開會(huì)、上課、教學(xué)等等,在線協(xié)同的需求越來越多。為幫助聽障人士更友好地使用協(xié)同辦公工具,今天騰訊會(huì)議也宣布與騰訊公益慈善基金會(huì)共同發(fā)起無礙溝通公益夢(mèng)想活動(dòng),用戶參與騰訊會(huì)議、低碳會(huì)議等公益行動(dòng)獲得小紅花,并捐出以支持該公益夢(mèng)想,通過“一花一夢(mèng)想”創(chuàng)新的公益形式,我們將面向2萬名聽障人士捐贈(zèng)無障礙辦公禮包,持續(xù)關(guān)注聽障人士的用戶體驗(yàn),并提供相應(yīng)的關(guān)愛服務(wù)。

在此,我們也希望有更多的廠商、公益組織和伙伴一起加入我們,讓每一位聽障人士都可以聽清世界的聲音。

謝謝大家!

(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )