比ChatGPT更牛？我們測試了下訊飛星火V3.0

撰文：李信馬

在科技圈，吹水是基本素養(yǎng)，畫餅PPT是必備技能，哪家公司的計劃能不跳票說到做到，就算得上形象優(yōu)良，要是一點折扣也不打，那絕對值得交口稱贊。

在剛剛過去的10月24日，科大訊飛就把5個月前的計劃，不打折扣的實現(xiàn)了。今年5月，科大訊飛發(fā)布了訊飛星火認知大模型（以下簡稱“星火大模型”）V1.0，當時董事長劉慶峰宣布，將會在8月15日發(fā)布星火V2.0，在10月24日發(fā)布星火V3.0，對標ChatGPT。

自然，這個計劃不但實現(xiàn)了，而且也做了現(xiàn)場演示。據(jù)現(xiàn)場介紹，新版本的星火大模型，不僅整體超越了ChatGPT，在醫(yī)療領域甚至超越了GPT-4。

不過現(xiàn)場演示也有一個遺憾——都是大廠，不好意思把友商的大模型也拿來過直接演示對比，萬一打臉了就不好了。于是，決定，將這個遺憾給彌補上，用統(tǒng)一的問題，來測試下星火大模型和ChatGPT，還有目前國內(nèi)一線的大模型——百度文心一言和阿里巴巴通義千問——的表現(xiàn)，通過橫向?qū)Ρ龋鎸嵎Q量下星火大模型的實力。

對于大模型應該具備的基礎能力，不同廠商有不同的看法，比如科大訊飛就提出了七大能力——文本生成、語言理解、知識問答、邏輯推理、數(shù)學能力、代碼能力以及多模態(tài)。而像百度，則減少為理解、邏輯、生成、記憶四大能力。為了公平起見，我們準備的問題會盡量聚焦在目前業(yè)界公認的幾項能力上，而且多題采用今年《行測》的真題，方便進行比較。

首先，第一個問題，也算是中文語言理解方面的“老熟人”了。

小明跟小亮說小剛昨天參加了百米賽跑，這個時候小剛正好經(jīng)過，小亮就說：“說曹操到，曹操就到?！?分析一下，究竟是誰到了？

以下分別是星火大模型、ChatGPT、文心一言和通義千問的回答：

可以看到，ChatGPT依舊是不太懂中文，回答錯誤，令人驚喜的是，三個國產(chǎn)大模型全部回答正確，儼然這個問題已經(jīng)是個“小兒科”問題了，星火大模型的答案尤為簡潔。

接下來，我們將難度升級，從今年的國家公務員考試《行測》中扒來一道語言理解與表達試題，可以說，這個不但要理解能力強，還要有好的表達能力。

每個企業(yè)都有自己的核心價值觀，它是企業(yè)一切理念、制度和技術(shù)的價值基礎。企業(yè)在重視財務、營銷、技術(shù)的同時，更應重視員工。員工是企業(yè)的主人，是企業(yè)的肯本，只有建立起以“重視員工”為核心價值觀的企業(yè)文化，企業(yè)才能凝聚員工、創(chuàng)造個性，為自身的發(fā)展提供目標、方向和定力。 這段文字意在說明什么？（國家公務員考試《行測》語言理解與表達試題）

以下分別是星火大模型、ChatGPT、文心一言和通義千問的回答：

對這一題的回答，四家大模型都理解準確，回答清晰，如果參加考試，估計都能拿分，可見目前一線大模型的理解和表達能力已經(jīng)足夠強大了。

再下一題，則是讓大模型頭疼不已的數(shù)學推斷計算題，也是來自《行測》。

甲、乙等16人參加乒乓球淘汰賽。每輪對所有未被淘汰選手進行抽簽分組兩兩比賽，勝者進入下一輪。已知除了甲以外，其余任意兩人比賽時雙方勝率均為50%。甲對乙的勝率為0%，對其他14人的勝率均為100%。則甲奪冠的概率是多少？（國家公務員考試《行測》數(shù)量關(guān)系試題）

這一題的回答，可謂慘不忍睹，由于計算步驟過于復雜，所以我們直接說結(jié)果——四家全錯，正確答案是11/15。

首先是星火大模型的回答，給出的答案是1/12，但在第一步就出錯了，似乎沒能理解甲、乙等16人的含義。

接下來是ChatGPT，看起來頭頭是道，但實際卻是在胡說八道，簡化成為了拋硬幣的問題，只能說邏輯能力讓人失望。

然后是文心一言的回答，雖然錯了，但能錯到給出3.58這樣的概率，也是令人覺得很離譜——它理解什么是概率嗎？

最后是通義千問，也是在題目理解上就出了問題，即前提的第三條，得出的第一個結(jié)論也是錯的，因為如果甲遇到乙，那么在第一輪比賽中就會輸?shù)簟?/p>

可以看到，如果數(shù)學題上了一定的難度，對目前的大模型來說，還是比較大的挑戰(zhàn)。

接下來，我們考驗一下大模型的生成能力，從之前的問題可以看出，生成文字已經(jīng)很難拉開差距，所以我們直接上強度——生成圖片。不少讀者應該聽說過“踏花歸去馬蹄香”的典故，據(jù)說曾經(jīng)是北宋皇帝宋徽宗趙佶給畫家們出的考題，最后被一位畫作中馬兒疾馳馬蹄高舉，幾只蝴蝶追逐著馬蹄蹁躚飛舞的畫家奪得頭籌。我們就以這個問題，要求大模型作圖。

在這個環(huán)節(jié)，ChatGPT和通義千問因為無法生成圖片，于是就變成了星火大模型和文心一言的比拼，以下分別是它們的作品：

兩幅畫作都很唯美，著重體現(xiàn)了花和馬的元素，區(qū)別在于星火大模型像是讀懂了詩句，直接做了一副國風范的圖片，而文心一言的作品則更接近油畫風。

經(jīng)過多輪的比拼，可以看到，在語義理解、邏輯和生成等大模型核心能力上，星火大模型絕對可以說超過了ChatGPT，達到了世界領先的水平，國內(nèi)也可以說至少前三了。不過，目前國產(chǎn)大模型與真正世界頂尖的大模型——GPT-4，仍還有一定的差距，這一點也得到了劉慶峰的承認：“國產(chǎn)大模型在復雜知識推理、小樣本快速學習、超長文本處理、跨模態(tài)統(tǒng)一理解上距GPT4還有差距?！?/p>

但這種差距正在以肉眼可見的速度縮進，作為同樣免費的大模型服務，星火大模型已經(jīng)超越了ChatGPT（GPT-3.5），并且還在多個領域快速落地應用，本次本屆大會，就重點提到了編程、教育和醫(yī)療等領域的進展，科大訊飛還宣布與法律、工業(yè)、智能汽車等12個行業(yè)龍頭聯(lián)合發(fā)布行業(yè)模型。

演講中，劉慶峰也為星火大模型立下了新的Flag——明年上半年對標GPT-4?！艾F(xiàn)在就是把速度干得更快?！卑肽曛?，也許我們就能看到，新的星火大模型，在和GPT-4的評測對比中不相上下，甚至更勝一籌了。

生成海報

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。