提起科大訊飛，人們總津津樂(lè)道于“讓機(jī)器能聽(tīng)會(huì)說(shuō)”的先進(jìn)智能語(yǔ)音技術(shù)。其實(shí)除此之外，科大訊飛的“攻城獅們”也一直致力于讓機(jī)器“能看會(huì)認(rèn)”。
近日，科大訊飛A.I.研究院聯(lián)合中科大語(yǔ)音及語(yǔ)言信息處理國(guó)家工程實(shí)驗(yàn)室，以顯著優(yōu)勢(shì)獲得ICFHR 2020 OffRaSHME數(shù)學(xué)公式識(shí)別挑戰(zhàn)賽冠軍。這是科大訊飛繼ICPR 2018 MTWI圖文識(shí)別挑戰(zhàn)賽上獲得三項(xiàng)冠軍、ICDAR 2019 CROHME數(shù)學(xué)公式識(shí)別挑戰(zhàn)賽上獲得兩項(xiàng)冠軍后，在復(fù)雜版面文檔圖像識(shí)別理解方向上所取得的又一佳績(jī)，再次展現(xiàn)科大訊飛在相關(guān)領(lǐng)域的技術(shù)先進(jìn)性。
離線手寫(xiě)數(shù)學(xué)公式識(shí)別(官方數(shù)據(jù))榜單
離線手寫(xiě)數(shù)學(xué)公式識(shí)別(外源數(shù)據(jù))榜單
備注：“Correct”表示公式識(shí)別的句正確率，“”和分別表示整條公式中允許出現(xiàn)1處和2處錯(cuò)誤的識(shí)別的句正確率
技術(shù)頂天，掌握?qǐng)D文識(shí)別“金字塔”級(jí)別難題“解法”
此次OffRaSHME(Offline Recognition and Spotting of Handwritten Mathematical Expressions)數(shù)學(xué)公式識(shí)別挑戰(zhàn)賽由ICFHR 2020(International Conference on Frontiers of Handwriting Recognition)舉辦，參賽隊(duì)伍包括韓國(guó)三星、東京農(nóng)工大學(xué)、華南理工大學(xué)、中山大學(xué)等多家常年深耕文檔分析理解領(lǐng)域的研究機(jī)構(gòu)。
相比于常規(guī)的圖文識(shí)別，對(duì)數(shù)學(xué)公式的識(shí)別難度和技術(shù)挑戰(zhàn)往往更高。本次OffRaSHME官方比賽任務(wù)為“離線手寫(xiě)數(shù)學(xué)公式識(shí)別”，該任務(wù)相比ICDAR 2019 CROHME的離線手寫(xiě)公式識(shí)別任務(wù)，難度再度升級(jí)，有以下三大難點(diǎn)：
公式結(jié)構(gòu)復(fù)雜，尤其是各種結(jié)構(gòu)的嵌套：
難以辨別的形近字符，如X和x，Z和2，和r：
本次比賽添加了很多非常規(guī)符號(hào)的組合，容易和公式混淆：
難度雖高，但這樣的任務(wù)對(duì)于科大訊飛來(lái)說(shuō)并不算陌生。
基于在手寫(xiě)數(shù)學(xué)公式識(shí)別領(lǐng)域深耕多年的技術(shù)積累，科大訊飛從基于上下文無(wú)關(guān)文法的傳統(tǒng)數(shù)學(xué)公式方法到創(chuàng)新性地提出基于LaTeX建模的Encoder-Decoder識(shí)別算法，其中，LaTeX作為最常用的數(shù)學(xué)公式表達(dá)之一，研究人員將數(shù)學(xué)公式識(shí)別問(wèn)題看作圖像到LaTeX序列的翻譯問(wèn)題，借助注意力機(jī)制實(shí)現(xiàn)更精準(zhǔn)的端到端識(shí)別能力，該方案在2019 CROHME中一舉打敗了常年占據(jù)CROHME冠軍地位的MyScript。
而針對(duì)數(shù)學(xué)公式識(shí)別中最難的復(fù)雜結(jié)構(gòu)嵌套問(wèn)題，科大訊飛提出了基于樹(shù)形結(jié)構(gòu)信息建模的Encoder-Decoder識(shí)別算法，這種算法在復(fù)雜公式結(jié)構(gòu)嵌套上更具泛化能力。針對(duì)形近符號(hào)區(qū)分難度大的問(wèn)題，科大訊飛提出使用基于LaTeX語(yǔ)言模型的數(shù)據(jù)增強(qiáng)策略，利用數(shù)學(xué)公式的樹(shù)形結(jié)構(gòu)表達(dá)，合理地拆分分解數(shù)學(xué)公式，并利用這些公式訓(xùn)練LaTeX語(yǔ)言模型，最后使用語(yǔ)言模型增強(qiáng)出合理的、符合上下文語(yǔ)義關(guān)聯(lián)的數(shù)據(jù)，該策略可以很大程度上緩解形近符號(hào)識(shí)別困難的問(wèn)題。
通過(guò)以上多項(xiàng)技術(shù)能力的綜合運(yùn)用，此次科大訊飛以顯著優(yōu)勢(shì)拿下了此次任務(wù)難度極高的數(shù)學(xué)公式識(shí)別挑戰(zhàn)賽冠軍，證明了其在數(shù)學(xué)公式識(shí)別領(lǐng)域的技術(shù)先進(jìn)性;在實(shí)際應(yīng)用中，學(xué)生作業(yè)試卷文檔存在版面結(jié)構(gòu)復(fù)雜、書(shū)寫(xiě)風(fēng)格差異顯著等難點(diǎn)問(wèn)題，這一系統(tǒng)將為其提供更為豐富有效的解決方案。
通過(guò)多項(xiàng)技術(shù)能力的綜合運(yùn)用，在“能看會(huì)認(rèn)”上，科大訊飛做得更好了!不僅能識(shí)別更復(fù)雜的數(shù)學(xué)公式，還能做到“中文+數(shù)學(xué)公式”混合搭配的內(nèi)容識(shí)別，此后將在更多A.I.產(chǎn)品中應(yīng)用。
https://v.qq.com/x/page/s3080uld0xk.html
應(yīng)用立地，打造“能看會(huì)認(rèn)”的A.I.產(chǎn)品
在數(shù)學(xué)公式識(shí)別比賽之外，近期科大訊飛還在另一項(xiàng)自然場(chǎng)景的文字檢測(cè)分割識(shí)別的相關(guān)技術(shù)成果在ICDAR ReCTS(Reading Challenge on Reading Chinese Text on Signboard)評(píng)測(cè)任務(wù)取得顯著突破，刷新單字識(shí)別、文本行識(shí)別、文本行檢測(cè)和端到端識(shí)別全部四項(xiàng)榜單世界記錄，使得系統(tǒng)在解決復(fù)雜場(chǎng)景下文字檢測(cè)和識(shí)別的難題中更為游刃有余。
這些成績(jī)并非一簇而就。
事實(shí)上，科大訊飛在圖文識(shí)別領(lǐng)域已有多年核心技術(shù)積累，擁有自主知識(shí)產(chǎn)權(quán)，并伴隨著每次技術(shù)迭代，產(chǎn)品都迎來(lái)大規(guī)模更新升級(jí)，更好滿足用戶在多個(gè)場(chǎng)景下使用需求。
2015年，輕量級(jí)的卷積神經(jīng)網(wǎng)絡(luò)首次在手機(jī)設(shè)備上使用，使得在線手寫(xiě)字符識(shí)別任務(wù)上取得突破性進(jìn)展。依托此項(xiàng)技術(shù)，訊飛輸入法用戶手寫(xiě)輸入體驗(yàn)感顯著提升。
2016年，CNN-HMM框架在文本行識(shí)別任務(wù)中得到成功應(yīng)用，該套系統(tǒng)無(wú)需進(jìn)行文本行切分等規(guī)則化的復(fù)雜版面分析，有效避免切分帶來(lái)的錯(cuò)誤，使得篇章級(jí)的中、英文手寫(xiě)文檔識(shí)別效果達(dá)到人工相當(dāng)水平。依托此項(xiàng)技術(shù)，科大訊飛智能輔助評(píng)卷系統(tǒng)能夠?qū)φZ(yǔ)文作文、英語(yǔ)作文、英語(yǔ)翻譯、數(shù)學(xué)填空、英語(yǔ)填空等題型進(jìn)行輔助評(píng)卷，應(yīng)用全國(guó)多省市的中高考，累計(jì)處理題卡數(shù)量過(guò)億張。
2018年，基于注意力機(jī)制的Encoder-Decoder模型在自然場(chǎng)景文字識(shí)別任務(wù)上大放異彩，融合語(yǔ)言模型進(jìn)行端到端訓(xùn)練，使得拍照模糊的文字也能通過(guò)語(yǔ)言模型“聯(lián)想”而被正確識(shí)別。依托此項(xiàng)技術(shù)，在訊飛翻譯機(jī)中，對(duì)復(fù)雜場(chǎng)景下的多種字體也能一拍即譯，讓拍照翻譯更清晰更準(zhǔn)確，能夠滿足更多消費(fèi)者在國(guó)外旅游、購(gòu)物的場(chǎng)景應(yīng)用需求。
今年，在數(shù)學(xué)公式識(shí)別任務(wù)的諸多關(guān)鍵技術(shù)上繼續(xù)突破，相關(guān)核心技術(shù)也將應(yīng)用在訊飛智能學(xué)習(xí)機(jī)等產(chǎn)品中，幫助用戶精確地進(jìn)行大數(shù)據(jù)學(xué)情分析，找到知識(shí)點(diǎn)的薄弱項(xiàng)，實(shí)現(xiàn)“個(gè)性化精準(zhǔn)學(xué)”，幫助廣大同學(xué)提升學(xué)習(xí)效率、鞏固學(xué)習(xí)效果。
在技術(shù)應(yīng)用的過(guò)程中，手寫(xiě)圖文識(shí)別也與智能語(yǔ)音等關(guān)鍵技術(shù)深度融合，讓大家切實(shí)感受到技術(shù)進(jìn)步帶來(lái)的高效、便利性。如“出口成章，躍然紙上”的訊飛智能辦公本，可以實(shí)現(xiàn)語(yǔ)音直接搜索手寫(xiě)筆記內(nèi)容，“一句話找到手寫(xiě)筆記”，滿足用戶在更多筆記場(chǎng)景下的記錄、寫(xiě)作、搜索、多端同步需求，有效提高辦公效率。
在即將到來(lái)的618年中大促中，還有更多產(chǎn)品將和大家見(jiàn)面，大家可以進(jìn)一步、零距離體驗(yàn)這些新技術(shù)。
堅(jiān)守人工智能道路21年，科大訊飛不斷攀越技術(shù)高峰，在智能語(yǔ)音、計(jì)算機(jī)視覺(jué)、自然語(yǔ)言理解等技術(shù)領(lǐng)域摘得一項(xiàng)又一項(xiàng)桂冠，但這并不是終點(diǎn)?？拼笥嶏w將始終秉承“頂天立地”的技術(shù)信仰，打造一件件“能聽(tīng)會(huì)說(shuō)”、“能看會(huì)認(rèn)”、“能理解會(huì)思考”的人工智能產(chǎn)品，用人工智能點(diǎn)亮人間煙火。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
