OpenAI推出新一代AI模型GPT-4o 音頻視頻理解能力尚無敵手

5月14日消息,據(jù)外媒報道,在今日凌晨1點開始的春季更新中,OpenAI宣布了他們新一代的旗艦模型GPT-4o,可以利用語音、視頻和文本信息進行實時推理。

從OpenAI在官網(wǎng)上公布的信息來看,GPT-4o中的“o”源自“omni”,也就是全面、全能的意思,朝著更自然的人機交互又邁出了關(guān)鍵一步。

而GPT-4o也的確如名字中“omni”的全能一樣,是一款能力更全面的大語言模型,打通了文本、音頻和圖像,接受任何文本、音頻和視頻的組合輸入,并生成文本、音頻和視頻的組合輸出。

OpenAI在官網(wǎng)上披露,GPT-4o在英文文本和代碼中的表現(xiàn)與GPT-4 Turbo相當,但在非英文文本上的能力大幅提升,在視頻和音頻的理解上,GPT-4o要明顯強于當前的其他模型。

在官網(wǎng)上,OpenAI提到,在GPT-4o之前,通過語音模式同ChatGPT對話時,有較長時間的延遲,GPT-3.5平均為2.8秒,GPT-4平均為5.4秒。而由三個獨立模式組成的語音模式,也丟失了大量信息,無法直接識別音調(diào)、多個說話者或背景噪音,也無法輸出笑聲、歌唱或表達情感。

但在GPT-4o中,OpenAI訓練一個跨文本、音頻和視頻的端到端新模型,所有的輸入和輸出都是由同一神經(jīng)網(wǎng)絡處理,GPT-4o也是他們首個整合了個文本、音頻和視頻模式的模型,

能力更全面的GPT-4o,響應速度也更快,最快232毫秒響應音頻輸入,平均響應時間為320毫秒,與人類在對話中的響應速度相當。

除了更強、更全面的能力,OpenAI也在推動GPT-4o更廣泛的應用。GPT-4o的文本和圖片功能自推出之日起就向ChatGPT推送,ChatGPT用戶可免費使用,ChatGPT Plus用戶的數(shù)據(jù)量上限將是免費用戶的5倍,新版本的音頻模式將在未來幾周向ChatGPT Plus用戶推送。

OpenAI周二凌晨1點開始的春季更新,是由CTO Mira Murati主持進行,登臺的還有兩位研發(fā)人員,公司CEO薩姆?奧特曼并未登場。

不過,未現(xiàn)身直播的薩姆?奧特曼,在社交媒體上對GPT-4o也進行了推廣。他在社交媒體上就表示,他們最新的模型GPT-4o,是他們到目前為止最好的模型,它很聰明、速度很快,是天然的多模態(tài)。

薩姆?奧特曼在社交媒體上也提到,GPT-4o對所有的ChatGPT用戶免費,而此前GPT-4級別的模型僅對按月付費的用戶免費。

而值得注意的是,OpenAI在周二凌晨推出能力更全面的GPT-4o,無疑會給谷歌帶來更大的壓力,谷歌2024年度的I/O開發(fā)者大會,將在當?shù)貢r間周二開始,外界預計他們會推出大量人工智能相關(guān)的產(chǎn)品。(海藍)

(免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關(guān)資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )

贊助商
2024-05-14
OpenAI推出新一代AI模型GPT-4o 音頻視頻理解能力尚無敵手
GPT-4o中的“o”源自“omni”,也就是全面、全能的意思。

長按掃碼 閱讀全文