揭秘大語(yǔ)言模型“真相”：谷歌發(fā)布AI基準(zhǔn)測(cè)試
隨著人工智能技術(shù)的快速發(fā)展，大型語(yǔ)言模型（LLMs）在自然語(yǔ)言處理領(lǐng)域的應(yīng)用越來(lái)越廣泛。然而，這些模型在處理真實(shí)世界數(shù)據(jù)時(shí)，也面臨著一些挑戰(zhàn)，如事實(shí)準(zhǔn)確性、避免“幻覺(jué)”等問(wèn)題。為了解決這些問(wèn)題，谷歌DeepMind團(tuán)隊(duì)于近日發(fā)布了一項(xiàng)新的AI基準(zhǔn)測(cè)試——FACTS Grounding基準(zhǔn)測(cè)試。該測(cè)試旨在評(píng)估LLMs根據(jù)給定材料準(zhǔn)確作答的能力，并提升LLMs的事實(shí)準(zhǔn)確性，增強(qiáng)用戶信任度，并拓展其應(yīng)用范圍。
一、數(shù)據(jù)集介紹
在數(shù)據(jù)集方面，F(xiàn)ACTS Grounding基準(zhǔn)測(cè)試采用了ACTSGrounding數(shù)據(jù)集。該數(shù)據(jù)集包含1719個(gè)示例，涵蓋金融、科技、零售、醫(yī)療和法律等多個(gè)領(lǐng)域。每個(gè)示例包含一篇文檔、一條要求LLM基于文檔的系統(tǒng)指令和隨附的提示詞。示例文檔長(zhǎng)度不一，最長(zhǎng)可達(dá)32000個(gè)token（約20000字）。這些示例旨在涵蓋各種真實(shí)世界任務(wù)，如摘要生成、問(wèn)答生成和改寫等。
數(shù)據(jù)集分為860個(gè)“公共”示例和859個(gè)“私有”示例。目前已發(fā)布公共數(shù)據(jù)集供評(píng)估使用，私有數(shù)據(jù)集則用于排行榜評(píng)分，以防止基準(zhǔn)污染和排行榜作弊。
二、評(píng)估方案
在評(píng)估方案上，F(xiàn)ACTSGrounding基準(zhǔn)測(cè)試采用了Gemini 1.5 Pro、GPT-4o和Claude 3.5 Sonnet 3款模型作為評(píng)委，評(píng)估答案的充分性、事實(shí)準(zhǔn)確性和文檔支持性。評(píng)估分為兩個(gè)階段：首先評(píng)估響應(yīng)是否符合資格，即是否充分回答了用戶請(qǐng)求；然后評(píng)估響應(yīng)的事實(shí)準(zhǔn)確性，即是否完全基于所提供的文檔，有沒(méi)有出現(xiàn)“幻覺(jué)”。最終根據(jù)該模型在所有示例上的平均得分進(jìn)行排名。
值得一提的是，在FACTSGrounding基準(zhǔn)測(cè)試中，谷歌的Gemini模型在事實(shí)準(zhǔn)確的文本生成方面取得了最高分。這一成績(jī)不僅體現(xiàn)了Gemini模型在處理真實(shí)世界數(shù)據(jù)方面的優(yōu)勢(shì)，也反映了FACTSGrounding基準(zhǔn)測(cè)試對(duì)于評(píng)估LLM事實(shí)準(zhǔn)確性方面的有效性。
三、主題延伸
FACTSGrounding基準(zhǔn)測(cè)試的推出，不僅為L(zhǎng)LM的開(kāi)發(fā)者和研究者提供了一個(gè)新的評(píng)估工具，也為公眾揭示了LLM在處理真實(shí)世界數(shù)據(jù)時(shí)的局限性和挑戰(zhàn)。隨著LLM技術(shù)的不斷發(fā)展，我們有必要對(duì)它們進(jìn)行更嚴(yán)格的評(píng)估和監(jiān)督。
一方面，我們需要關(guān)注LLM在處理真實(shí)世界數(shù)據(jù)時(shí)的準(zhǔn)確性問(wèn)題。由于LLM的訓(xùn)練數(shù)據(jù)主要來(lái)源于互聯(lián)網(wǎng)，其中包含大量的虛假信息和主觀觀點(diǎn)。因此，LLM在生成回答時(shí)可能會(huì)出現(xiàn)“幻覺(jué)”和錯(cuò)誤信息，影響其事實(shí)準(zhǔn)確性。FACTSGrounding基準(zhǔn)測(cè)試正是針對(duì)這一問(wèn)題而推出的評(píng)估工具。
另一方面，我們需要警惕LLM可能對(duì)現(xiàn)實(shí)世界造成的負(fù)面影響。由于LLM的技術(shù)尚未完全成熟，其生成的回答和決策可能會(huì)對(duì)社會(huì)產(chǎn)生誤導(dǎo)和危害。因此，我們需要加強(qiáng)監(jiān)管，確保LLM的應(yīng)用符合道德和法律標(biāo)準(zhǔn)。
總之，谷歌DeepMind團(tuán)隊(duì)推出的FACTSGrounding基準(zhǔn)測(cè)試為評(píng)估LLM提供了新的視角和方法。通過(guò)這一測(cè)試，我們可以更好地了解LLM在處理真實(shí)世界數(shù)據(jù)時(shí)的表現(xiàn)和能力，從而為未來(lái)的技術(shù)發(fā)展提供指導(dǎo)。同時(shí)，我們也需要關(guān)注和應(yīng)對(duì)LLM可能帶來(lái)的挑戰(zhàn)和風(fēng)險(xiǎn)。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
