谷歌內(nèi)部文件顯示：鷸蚌相爭(zhēng)，開(kāi)源得利

5月5日消息，曾幾何時(shí)，谷歌一度被業(yè)界認(rèn)定為 AI 行業(yè)的領(lǐng)先者，其2017 年率先發(fā)布 Transformer 奠定了 大語(yǔ)言模型 LLM 的基石，2021 年聊天機(jī)器人 LaMDA 的亮相更是一度驚艷圈內(nèi)。

不曾想，最終搶得先機(jī)的卻是 OpenAI 這匹“黑馬”，而谷歌反倒從 AI 領(lǐng)域的“老大哥”淪為了被動(dòng)的“追趕者”。究竟誰(shuí)會(huì)最終贏得這場(chǎng) AI 大戰(zhàn)，是谷歌還是OpenAI？

近來(lái)在 Discord 群組由匿名人士泄露的一份谷歌內(nèi)部文件給出了第三個(gè)可能：“我們沒(méi)有贏得這場(chǎng)競(jìng)爭(zhēng)，OpenAI 也沒(méi)有。當(dāng)我們還在爭(zhēng)吵時(shí)，第三個(gè)方已經(jīng)悄悄地?fù)屃宋覀兊娘埻搿_(kāi)源?！?/p>

據(jù)CSDN報(bào)道，開(kāi)源正在超越谷歌和 OpenAI，這兩家所認(rèn)為的“主要開(kāi)放問(wèn)題”如今已經(jīng)解決，并已投入使用。雖然兩家的模型當(dāng)下在質(zhì)量方面仍略勝一籌，但差距正在驚人地縮小。開(kāi)源模型更快、更可定制、更私密，能力也更強(qiáng)大。

開(kāi)源能用 100 美元和 13B 參數(shù)做到谷歌和 OpenAI 花費(fèi) 1000 萬(wàn)美元和 540B 參數(shù)都難以達(dá)成的事情。而且只需要幾周就能完成任務(wù)，而不是幾個(gè)月。

當(dāng)免費(fèi)、無(wú)限制的替代品在質(zhì)量上相當(dāng)時(shí)，人們不會(huì)為一個(gè)受限制的模式付費(fèi)。谷歌應(yīng)該考慮自己的附加值究竟在哪里。

從長(zhǎng)遠(yuǎn)來(lái)看，最好的模型是可以快速迭代改進(jìn)的模型?，F(xiàn)在，既然知道了 20B 參數(shù)范圍內(nèi)可能實(shí)現(xiàn)什么，小變體就不應(yīng)再被視為事后補(bǔ)救措施了。

3月初，開(kāi)源社區(qū)得到了他們的第一個(gè)真正有能力的基礎(chǔ)模型——Meta 的 LLaMA 模型被意外泄露了。它沒(méi)有指令或?qū)υ捳{(diào)整，也沒(méi)有 RLHF (人類反饋強(qiáng)化學(xué)習(xí)）。

隨后，巨大的創(chuàng)新涌現(xiàn)出來(lái)，在短短不到一個(gè)月的時(shí)間里，已經(jīng)出現(xiàn)了具備指令調(diào)整、量化、質(zhì)量改進(jìn)、人類評(píng)估、多模態(tài)和 RLHF 等變體，其中許多都是相互建立的。

最重要的是，開(kāi)源社區(qū)解決了擴(kuò)展問(wèn)題，在一定程度上任何人都可以進(jìn)行實(shí)驗(yàn)。許多新想法來(lái)自普通人，培訓(xùn)和實(shí)驗(yàn)門(mén)檻從主要研究機(jī)構(gòu)總產(chǎn)出降至一個(gè)人、一個(gè)晚上和一臺(tái)強(qiáng)大的筆記本電腦。

據(jù)了解，目前開(kāi)源 LLM 的復(fù)興是緊隨圖像生成的復(fù)興而來(lái)的，許多人稱其為 LLM 的“Stable Diffusion（開(kāi)源文本生成圖像模型） 時(shí)刻”。

在兩種情況下，低成本公共參與得以實(shí)現(xiàn)，原因是有了名為低秩適應(yīng)（LoRA）的大幅度降價(jià)機(jī)制，并結(jié)合規(guī)模上的重大突破。在這兩種情況下，獲得足夠高質(zhì)量模型啟動(dòng)了世界各地個(gè)人和機(jī)構(gòu)涌現(xiàn)出一系列想法和迭代。

這些貢獻(xiàn)在圖像生成領(lǐng)域非常關(guān)鍵，使 Stable Diffusion 走上了與 Dall-E （OpenAI基于Transformer的語(yǔ)言模型，可根據(jù)文本生成圖像）不同的道路，使其擁有一個(gè)開(kāi)放的模式，導(dǎo)致了產(chǎn)品整合、市場(chǎng)、用戶界面和創(chuàng)新，而這些都是 Dall-E 沒(méi)有的。

其效果可想而知：文化影響力迅速占據(jù)主導(dǎo)地位，OpenAI 解決方案變得越來(lái)越無(wú)關(guān)緊要。同樣的事情是否會(huì)發(fā)生在 LLM 上還有待觀察，但廣泛的結(jié)構(gòu)元素是相同的。

LoRA 更新非常便宜（約 100 美元），這意味著幾乎任何有想法的人都可以生成并分發(fā)一個(gè)。訓(xùn)練時(shí)間少于一天是正常的，在這種速度下，所有這些微調(diào)的累積效應(yīng)不需要很長(zhǎng)時(shí)間就可以克服開(kāi)始時(shí)的劣勢(shì)。

事實(shí)上，就工程師時(shí)間而言，這些模型的改進(jìn)速度遠(yuǎn)遠(yuǎn)超過(guò)了谷歌所能做到的，而且最好的模型已經(jīng)與 ChatGPT 基本沒(méi)有區(qū)別了。專注于維護(hù)全球一些最大規(guī)模的模型實(shí)際上會(huì)使谷歌處于不利地位。

對(duì)此，得克薩斯大學(xué)奧斯汀分校教授Alex Dimakis認(rèn)為，開(kāi)源 AI 正在取得勝利，對(duì)于全世界來(lái)說(shuō)這是件好事，對(duì)于構(gòu)建一個(gè)有競(jìng)爭(zhēng)力的生態(tài)系統(tǒng)來(lái)說(shuō)也是好事。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。