ChatGPT被過度炒作了？美國人已經(jīng)不討論了？

調(diào)皮的話：

你有多久沒玩文心一言了？掐指一算，百度的文心一言發(fā)布還不到一個月，但總覺得是去年的事情一樣。

ChatGPT火了之后，中國的科技行業(yè)陸陸續(xù)續(xù)發(fā)布了多個大語言模型，但真正落地應(yīng)用的，還是沒有幾個，最早發(fā)布的文心一言，已經(jīng)快被大家忘了，倒是被賣課的先割走了幾百萬。

今天，商湯科技也發(fā)布了多個行業(yè)應(yīng)用的ChatGPT類產(chǎn)品，前搜狗創(chuàng)始人王小川也宣布創(chuàng)辦“百川智能”，已經(jīng)融資了5000萬；王慧文的光年之外，也已經(jīng)進入了第二輪融資。

ChatGPT類產(chǎn)品的創(chuàng)業(yè)和開發(fā)，在中國還如火如荼，但是資本市場不給面子，包括周鴻祎的三六零在內(nèi)的多個ChatGPT概念股，今天大跌。

前兩天，著名科技作家吳軍在一次分享時提供了一個觀點：ChatGPT的原理是語言模型，而語言模型不是什么新科技革命，早在1972年就由他的老師創(chuàng)辦，期間經(jīng)歷了很多次迭代，直到2000年深度學習技術(shù)的進步，才把語言模型推向了新的階段；如今在大算力和數(shù)據(jù)量的基礎(chǔ)上，語言模型又更進了一步，但是對現(xiàn)實世界的沖擊，沒大家想像的那么夸張，大家不必活在恐懼中，要防止被給韭菜。

不過，不讓大家恐懼，還是有點難度，畢竟百度谷歌阿里京東等巨頭都在進入這個領(lǐng)域，專家們對此也意見不同。

以下是吳軍老師的分享，給大家講述了語言模型的歷史，提供了另一個視角，請大家自行斟酌，我們持中立態(tài)度：

01

ChatGPT的出現(xiàn)，為什么會引起恐慌？

我知道，最近ChatGPT這事兒在中國很火，很多人在討論，但很有意思的是，其實這件事在美國，已經(jīng)沒有太多人去談?wù)撨@個話題了。其實不光是ChatGPT，往前看十年，當時很多新技術(shù)出現(xiàn)的時候，我就發(fā)現(xiàn)在中國媒體上討論的熱度要遠遠高于美國。雖然那個技術(shù)其實主要出現(xiàn)在美國，但是中國人老百姓對此更關(guān)心。我認為這是一件好事，但也是一件壞事。

這個“壞”在于，這些技術(shù)實際上是被過度的炒作了，在這個過程中，有很多渾水摸魚的人從中賺錢。就比如說區(qū)塊鏈，當時炒得那么熱，但如今這個事已經(jīng)很少有人討論了，對吧？這是第一個。第二個就是元宇宙，目前美國只有 Facebook一家還在堅持做。那到了中國，很多人就在討論說，我們是不是將來會生活在一個完全虛擬的世界。最后，大概去年底到今年初，F(xiàn)acebook在這個領(lǐng)域幾百億美元投下去，一個響也沒聽著，最后開始了大規(guī)模的裁員。到了現(xiàn)在，被熱炒的一個話題就是ChatGPT，有的人興奮，有的人恐懼，還有我現(xiàn)在也看到在中國還有很多人在渾水摸魚，試圖再割大家一次韭菜。

02

ChatGPT的技術(shù)基礎(chǔ)是什么？

從歷史回到現(xiàn)在，其實ChatGPT的情況也差不多，背后是一個叫做語言模型的一個數(shù)學模型在發(fā)揮作用。換句話說，ChatGPT的背后是一個數(shù)學模型。在今天，這項技術(shù)顯得很強大的原因主要是三個：

第一，它用到的計算量很大；

第二，它的數(shù)據(jù)量很大；

第三，今天訓練語言模型的方法比以前要好很多。

那么，語言模型是什么呢？或者說它是一個什么時代的產(chǎn)物？

它是1972 年，由我的導師賈里尼克(Fred Jelinek)帶領(lǐng)團隊研發(fā)的一項技術(shù)。具體地講，是他當時在IBM帶著人來完成的一項技術(shù)，是用來衡量一句話或者一個語言現(xiàn)象有多么的可能產(chǎn)生。那它有什么用？它最初的用處是做的語音識別，后來是做機器翻譯，再后來是做計算機問答，也就是我們今天熟悉的回答問題。

當時它就可以做摘要，比如舉一個例子，有一篇一萬字的文章，那么你怎么摘要出十句話能概括這一篇文章的內(nèi)容，這對于做這個自然語言處理的人來講，就是一個數(shù)學問題。也就是說，你的條件是什么？條件是這一萬個字，然后你想得到的結(jié)果是什么？結(jié)果可能就是十句話，一百個字。然后這里頭有很多種組合，你可以隨便挑幾個句子，也可以把有的句子拆成兩段，把后面那些不太重要的修飾或者形容的部分去掉。然后，你也可以把兩個句子合成一個句子，那么你在合成一段文本的時候，這個計算機就會計算一個概率，哪些句子合成在一起的概率比較大，它會按照概率幫你合成。

而我們今天看到的ChatGPT，就是這個大的語言模型，它就是會挑一個概率最大的、最有可能發(fā)生的這樣一個文本來給你看。所以總體來講，ChatGPT生成結(jié)果的過程，是一個用大量的計算資源來計算的過程。它需要非常龐大的數(shù)據(jù)量來支撐，有很多很多的GPU（電腦處理器）。沒有這些東西的話，ChatGPT是做不起來的。

而且今天這個ChatGPT，其實不光是技術(shù)，還有很多人工在背后。他們還雇了一家公司，專門負責審核ChatGPT產(chǎn)生的結(jié)果。比如說，ChatGPT產(chǎn)生了一百篇摘要，都挺好，我已經(jīng)分辨不出來了，那么這些人就負責幫我分辨一下，到底哪一篇更像是準確的摘要。

那實際上，你可以看到，ChatGPT背后就是一個語言模型，而這一語言模型的技術(shù)是1972年就已經(jīng)有了的。到現(xiàn)在，經(jīng)過了五十年，現(xiàn)在行業(yè)內(nèi)其實大家并不覺得它是一個什么了不得的東西。在此以前，這個語言模型其實已經(jīng)做了很多的事情。

你可以這樣理解，“語言模型”之于ChatGPT，就相當于開普勒的這個行星三定律之于月食。

03

“語言模型”誕生之初是什么情況？

那么在發(fā)明的當時，語言模型是一個什么情況？

其實，在20世紀90年代的時候，用簡單統(tǒng)計方法得到的模型很不準確。這就相當于，我打個比方，你觀察行星，但用的是托勒密的地心說來預(yù)測，是很不準確的。所以，那時候我們開始引入了語法、主題、語義的很多信息。然后，這個語言模型就變得很復雜了。復雜之后就又帶來了一個很大的問題。

什么問題？

比如，做一個很復雜的語言模型，這個語言模型當時有多少參數(shù)？600萬個參數(shù)，就是說，這個語言模型大小基本上按這個參數(shù)來定。我那時候做的已經(jīng)是那個時代能做的最大、最復雜的語言模型了。我當時用的還不是PC機，而是20臺超級服務(wù)器，然后大概算了三個月才訓練出這樣一個語言模型。所以你看，它的計算量是非常大的。那么，第一版ChatGPT，它用的語言模型參數(shù)是多少呢？大概是 2000 億個參數(shù)，大家可以看到這些年的變化。

所以，今天很多人問，ChatGPT在美國出現(xiàn)了，中國研究機構(gòu)什么時候能做ChatGPT？其實，中國的大部分研究機構(gòu)是做不了的，不是說研究水平的問題，而是因為ChatGPT太耗資源。今天的ChatGPT，可能光硬件的成本就要差不多10億美元，這還沒算電錢，所以成本和耗資是非常巨大的。所以，如果開完玩笑，問ChatGPT的最大貢獻是什么，我倒覺得它對全球變暖是有很大貢獻的。

所以，我想說的是，ChatGPT這件事，它的原理很簡單，但是在工程上要想做到，其實是蠻困難的一件事。

04

計算機擅長回答什么問題？

到了大概2010年前后，也就是13年前，語言模型能做到什么程度？我給大家看兩個例子。這兩個例子都是我在2014年離開Google以前做的。當時我負責的是Google的自動問答系統(tǒng)，就是讓計算機回答問題。不過因為這個產(chǎn)品是英文的，所以在中文世界基本上沒有太露臉。

我給你看一下谷歌回答的一個問題——為什么天是藍色的，why is the sky blue？

它的回答是這樣的：太陽光透過大氣層到達地球時會發(fā)生折射，空氣中的氣體會讓不同顏色的光散射到各個地方，藍光波長短，比其他顏色折射率高，所以看上去天是藍色的。

這是當時計算機產(chǎn)生的一個答案。公平地講，這個答案比我自己寫一段答案寫得要更好，因為要解釋這現(xiàn)象，你要知道不少物理學知識，而且這個句子看上去也挺合情合理的。而今天人們使用ChatGPT的一個目的，就是讓他回答問題。

這里面，我給大家做個拆分。

其實，我們問計算機的問題可以分為兩類，第一類叫做簡單問題，第二類叫做復雜問題。簡單問題就是關(guān)于事實的問題，比如某某明星是哪兒人，哪一年生的。這都是一些容易的問題，因為它是事實，有明確答案。

第二類是復雜問題，這也是大家覺得 ChatGPT 非常驚艷的地方。它能整合信息，回答天為什么是藍色的，好像它自己有邏輯一樣。再有一個，就是問過程的問題，比如說我怎么烤蛋糕，你能不把一步步寫下來？今天我們問ChatGPT怎么烤蛋糕，它可以把這個過程給你寫得很詳細，多少杯水，加多少個雞蛋，加多少面粉等等，它都可以告訴你。然后你根據(jù)它提供的答案，就真能烤出蛋糕，而且烤得可能還挺不錯。

這是大家覺得很了不得的地方。但是你要知道，這件事，在2014年其實計算機已經(jīng)做到了，而且做得很好。所以，這項技術(shù)本身并沒有太多神秘的地方。

05

計算機和人，誰更擅長寫作？

現(xiàn)在，大家熱議ChatGPT，還有一個原因就是覺得它能寫作。比如說寫一個工作簡報，這是今天美國人用ChatGPT用得最多的地方。我這周干了1234567，這七件事，哎，你看我就不用自己費勁地寫了，我讓ChatGPT生成一個，然后再編輯一下子就可以了。

但是，計算機寫作這件事，其實你說難也難，說容易也容易，我可以給你舉個例子。

用計算機寫了兩首詩，大家可以讀一下這兩首詩。

第一首詩是個五言詩，這是用我的話說，叫做李白風格的一首詩，大家可以讀一下。這首詩就是計算機自己寫的。實際上，你如果讀一讀，這個詩里還真有一些李白的這個特點。

那第二首詩，我也把圖片放在下面了，你可以看一下。

先說一下，因為古詩都有平仄一說，但是我們現(xiàn)在的讀音和當時的讀音不一樣，所以我們也沒去管這個平仄到底合不合古，但是這個我們單從它的內(nèi)容意境來講，你讀的會覺得很順暢。

好，那么話說回來。第一首詩怎么做的？

其實再簡單不過了，你就把李白的詩放到計算機里。李白詩一共1000 多首，也就一萬來句話，這個對計算機來講太簡單了。它寫的時候，就是把句子分拆開來，拆成兩個字、三個字一組，比如“空愁”這是一組，“憶長安”這三個字一組。然后它就去拼剛才我講的語言模型，算概率，哪個概率最大；拆完了以后，我就跟他提一個要求，說要寫一首憶長安的詩，它就排列組合，生成出這個《憶長安》，實際上就是這么拼湊出來的。第二首詩稍微復雜一點。

但你知道這兩個程序我寫了多長時間？兩天。這說明什么呢？說明你讓計算機寫出一些還挺像樣的東西，其實不是一件很困難的事情，它沒有你想得這么神秘，或者說計算機寫作本身沒有這你想得這么神秘。

那為什么這兩首詩看起來特別好？因為這是唐詩，唐詩的格式是固定的。同樣的道理，為什么用ChatGPT寫周報寫得好？因為周報的格式基本上是拉清單，那也是個固定的格式。包括，如果你讀《華爾街日報》中文版，這里頭我跟你講，90%的內(nèi)容都是計算機寫的，只是你不知道。寫完了以后人當然要給它一個主題，然后給它寫的第一段話寫個引子，然后給一個總結(jié)，起個標題，這是人要做的。

為什么寫財經(jīng)文章比較好？因為它有好多的事實在里頭，格式也是固定的，所以這件事它做起來就很好。

我花這么長時間來講ChatGPT的背景，實際上就是想說它并不神秘，不是一個什么很高深的機器在背后。一方面，ChatGPT依靠的是一個數(shù)學模型，而這個數(shù)學模型1972年就有了，只是今天它的計算能力非常強，靠蠻力計算。

那么，ChatGPT訓練一次要耗多少電？大概可能是3000輛特斯拉的電動汽車，每輛跑到20萬英里，把它跑死，這么大的耗電量，才夠訓練一次，這個非常花錢的一件事。

06

ChatGPT對我們到底有什么影響？

那么接下來講講，ChatGPT對人有什么影響。

這就要回到歷史上來看了，每一次技術(shù)革命，其實它對人都會有一些影響。不過，ChatGPT它不算是一項新的技術(shù)革命，因為這我剛才講了，這個過程很長，從20世紀70年代到90年代，我們做了很多事，90 年代到現(xiàn)在又有很多人做了很多事。這里頭最大進步其實不是這個語言模型本身，實際上是后來2000年左右產(chǎn)生的深度學習，使得訓練語言模型能比以前準確了，不是簡單的做統(tǒng)計。

今天訓練語言模型早已經(jīng)不是簡單做統(tǒng)計了，這才是ChatGPT能產(chǎn)生比較好的結(jié)果的一個原因。

至于說ChatGPT對人能產(chǎn)生什么樣影響，這個問題我先不直接回答你，我先問你，剛才給大家看這兩首唐詩，你有沒有發(fā)現(xiàn)一個什么特點？對了，這兩首詩寫得不錯，但是你原來對唐朝了解，不會因為多了這兩首詩會有更新的了解。因為，ChatGPT它某種程度上有點像鸚鵡學舌，你先要說一段話，它才能跟著學。它說出來的聲音可能很好聽，但是它并不提供更多的信息。

今天互聯(lián)網(wǎng)上90%的內(nèi)容都屬于這一類——不提供更多的新信息，也不是原創(chuàng)內(nèi)容，也不是自己的感悟，無非是東抄抄，西湊湊。目前，抖音、快手這類短視頻，我覺得99%的內(nèi)容都屬于這一類，沒有營養(yǎng)，你讀完以后可能覺得挺有意思，但實際上你在上面讀了再多，其實對你沒有任何幫助。

如果說ChatGPT真的威脅到了誰，我覺得威脅到的就是這一類人的工作，就是說這個抖音上頭那個做短視頻的，或者發(fā)布一些內(nèi)容的，ChatGPT會做得比他們好很多。你就想這樣一件事兒，假設(shè)說，有一群人天天把那唐詩三百首里頭的句子翻來覆去的捯飭，也能捯飭出一些詩，那么ChatGPT捯飭起來肯定比人快得多，所以這項技術(shù)會對這一批人會有影響。

那么，什么人不會受到影響？就是內(nèi)容創(chuàng)造的人不會受影響。

為什么我會這么講？還記得剛才我說的“為什么是天是藍色的”這個問題嗎？Google為什么能回答這個問題？

因為在Google進行回答的時候，它大概把當時英語幾乎所有的像樣的句子都做了分析，大概有1000 億句英語句子。那么實際上你會發(fā)現(xiàn)，在一些大學的網(wǎng)站上和NASA的網(wǎng)站上，它就有這個答案，只是我們把它拼拼湊湊，刪刪減減，就把它挑出來了。但是最早的物理學家做這項研究，把這個道理搞清楚，這個工作是有意義的，也是ChatCPT取代不了的。

所以我認為，從歷史上看ChatGPT其實不算是一次技術(shù)革命，它影響到的都是那個比較懶的人，懶得動腦筋，創(chuàng)造新東西的人。真正探索人類知識奧秘的人，是不會被取代的。

07

ChatGPT能帶來什么新的機會？

好了，講完了這個ChatGPT的歷史，我給你做一個簡單的總結(jié)。

第一，不要恐懼。

今天是很多人恐懼ChatGPT，就如同不要像當年哥倫布遇到的牙買加土著人恐懼月食，一樣的道理。

第二，不要勉強去找所謂的機會，該怎么工作就是怎么工作。

我看有同學問我，說蘋果為什么這個不做ChatGPT，我說這就對了！這就是為什么蘋果是世界上最有錢的公司，利潤最高，市值最多。目前，很多所謂做這種人工智能的公司到現(xiàn)在都在虧錢。所以，這也是為什么很多同學有時候問很多太不著調(diào)的問題的時候，我就開玩笑地問他說，你的房貸還清了嗎？你要沒還清，你就好好回去工作，把工作做好，這才是對大家最有意義的事情，從歷史上看也是如此。

第三，你要識破這些所謂的陰謀家或者想割你韭菜的人的那些把戲。

就是說，如果再來一個人假裝哥倫布說他是神的代表，然后他能祈禱上天讓這月亮出來，你不要信。所以你需要了解ChatGPT背后的一些科學原理。最簡單的一些原理，像今天我講的這些，你還是需要有所了解。

本文來源：學人Scholar 作者：吳軍（吳老師在得到上正在開設(shè)<人類文明史>課程）

生成海報

免責聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個人觀點，與極客網(wǎng)無關(guān)。文章僅供讀者參考，并請自行核實相關(guān)內(nèi)容。投訴郵箱：editor@fromgeek.com。

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。