大模型，會被算力和數(shù)據(jù)“卡脖子”嗎？丨亮見30期

丨劃重點

1. 大模型可以分為決策式AI和生成式AI，就像人類也分為男人和女人一樣。

2. 從零開始建立類似于GPT的模型，算力確實至關重要，訓練方法同樣重要，現(xiàn)有模型基礎上微調(diào)來適用特定場景，算力需求就不那么高。

3. 數(shù)據(jù)訓練就是「垃圾進，垃圾出」，數(shù)據(jù)量不僅要大，還要質(zhì)量好，更要數(shù)據(jù)深度。

4. 讓人工智能來承擔體力勞動、乏味和耗時的機械化工作，符合工業(yè)革命的邏輯。

5. 模型本身它是一個數(shù)字化的產(chǎn)物，不具備人類情感的機制。

編輯 / 趙楊博 蘇揚

丨概述

大模型遍地開花，激進者高喊超越ChatGPT，在追趕的路徑上，大家各有差異。

大廠們將目光對準通用大模型，也有越來越多的團隊選擇從更加垂直的細分賽道切入，比如醫(yī)療、科學等領域。

《生產(chǎn)式人工智能》作者、人工智能專業(yè)博士、PayPal全球數(shù)據(jù)科學平臺創(chuàng)始負責人 丁磊博士認為大模型的發(fā)展越來越具象化，可以融入到我們的工作和生活中，以提高效率，滿足各種需求。

關于算力和數(shù)據(jù)是否會「卡大模型的脖子」，在丁磊博士看來，要分情況而定，「在討論大模型的應用時，除了算力之外，我認為訓練方法也非常重要?！?/p>

伴隨著人工智能的極速「狂飆」，有人認為AI未來將會取代大量的工作，丁磊博士認為不要只看靜態(tài)的情況，從動態(tài)角度來看工作的需求也在增加，需要更多中高端的崗位來創(chuàng)造更多機會，讓人工智能來承擔體力勞動、乏味和耗時的機械化工作。這符合工業(yè)革命的邏輯，它替代了一些低效的崗位，但同時創(chuàng)造了更多當時中高端的崗位。

01

大模型顛覆了巨頭的壟斷，算力很重要但不是唯一

劉興亮：大模型為什么會這么熱，它到底能做點什么？

丁磊：大模型現(xiàn)在很火，但實際上很多人并不了解模型本身。

模型是什么？我個人的理解是模型可以被定義為知識和邏輯的數(shù)字化載體。過去，如果要存儲數(shù)據(jù)和信息，可能使用數(shù)據(jù)庫就足夠了，但是如果要同時存儲知識和邏輯，就需要一個數(shù)字化的載體，這就是模型，它類似于人腦，我們經(jīng)常將人腦與模型進行比較，人類的特點是根據(jù)經(jīng)驗習得規(guī)律，這些規(guī)律存在于人腦中。當然，行業(yè)也嘗試過使用其它形式來存儲知識和邏輯，但并不太成功，直到行業(yè)形成共識后，我們逐漸都使用模型來記錄所謂的AI學習到的知識和邏輯。

大模型可以分為兩類，決策式AI和生成式AI，就像人類也分為男人和女人一樣。

決策式AI更像是在做選擇題，它的特點在于分類，而分類是一種非常強大的表達形式，例如人臉識別就是一個分類問題，當用戶刷臉時不會被錯誤的識別成其他人，自動駕駛汽車也有一定的內(nèi)在分類判斷邏輯，AI知道何時加速、何時減速，甚至何時剎車，這都是決策式AI的領域。

與決策式AI相對應的是生成式AI，也就是今天所說的大模型，它更擅長回答簡答題，創(chuàng)造內(nèi)容或者創(chuàng)作，這是它的強項。

劉興亮：大模型發(fā)展到今天的這個能力經(jīng)歷了哪些階段，它早期的設想是什么，未來它還將發(fā)展到何處？

丁磊：生成式人工智能，是人工智能的一種形式，可以理解是AIGC技術(shù)的基礎。AIGC是指通過人工智能生成各種內(nèi)容，包括圖片、文本、視頻，它的出現(xiàn)使得我們的模型變得越來越具象化。

當下AIGC應用圖譜，來源：清華大學AIGC發(fā)展研究報告1.0

現(xiàn)在的模型越來越趨向于根據(jù)輸入生成對應的內(nèi)容，比如ChatGPT，你可能很熟悉它生成的是什么，甚至可還以提供交互式的對話體驗。

在2014年，業(yè)界首次發(fā)明了一種模型，稱為序列到序列（Sequence to sequence）模型，在此之前，人工智能模型只能輸出有限的內(nèi)容，可能只能是一個分類或一個數(shù)值，序列到序列模型出現(xiàn)之后，我們可以輸出任何東西。比如你的工作任務可以編碼成模型的輸入序列，要求的結(jié)果可以編碼成輸出序列，模型可以實現(xiàn)日常工作任務的自動化。

在2017年出現(xiàn)了一種稱為Transformer的模型， GPT（生成式預訓練）模型就是應用案例。這個模型引入了注意力機制，類似于人類在做事時的注意力。

到了2018年，OpenAI發(fā)布了第一版的GPT模型，也稱為GPT-1。當時它的效果還沒有達到引爆點，沒有引起公眾的廣泛關注，主要作為一個學術(shù)產(chǎn)品或研發(fā)工具存在，只在學術(shù)圈內(nèi)受到關注。

GPT-1模型有一億個參數(shù)，參數(shù)可以理解為神經(jīng)網(wǎng)絡中可以學習更新的部分，模型的復雜度與參數(shù)數(shù)量相關。

在2019年發(fā)布了GPT-2模型，它擁有十五億個參數(shù)，提升了十倍多。時至2022年發(fā)布了ChatGPT，相當于GPT-3.5的微調(diào)版本，擁有一千七百五十億個參數(shù)。這個參數(shù)數(shù)量已經(jīng)超過了人腦中的神經(jīng)元數(shù)量，但并不意味著它比人腦更復雜。人腦的工作機制不是現(xiàn)有的神經(jīng)網(wǎng)絡可以完全模擬的。然而，這種復雜性和規(guī)模足以使這些模型稱為「大模型」。

除了用于交互式對話的GPT系列模型，還有其他大型模型的應用。比如穩(wěn)定擴散（Stable Diffusion）模型，它專注于繪畫領域，還有一些用于視頻生成的模型和用于音樂生成的模型。

Stable Diffusion將文字轉(zhuǎn)換成圖片，來源：機器之門

隨著時間的推移， OpenAI發(fā)布了GPT-4模型，引起了很多人的關注。然而，關于GPT-4模型的詳細技術(shù)報告非常有限。微軟研究院等其他機構(gòu)對GPT-4模型進行了詳細評估，這在行業(yè)內(nèi)也是比較罕見的。這說明大型模型在某種程度上顛覆了傳統(tǒng)大公司在該領域的領先地位。

今年還有一個突破性的進展，就是SAM模型（Segment-Anything Model），它能夠分割圖像中的物體，這在計算機視覺領域非常重要。

劉興亮：現(xiàn)在大模型創(chuàng)業(yè)門檻至少需要5000萬美元，其中2000萬美元要用來購買算力。除了算力，還有哪些條件決定了它能力的上限？

丁磊：在討論大模型的應用時，除了算力之外，我認為訓練方法也非常重要。

算力這個話題已經(jīng)被討論了很久，我們可以將問題分為兩類進行討論。

第一類是從零開始建立類似于GPT的模型。對于這類任務來說，算力確實至關重要，但訓練方法同樣重要。

第二類任務是在大模型的基礎上進行微調(diào)來適用于特定應用場景，這個場景更多地與中小企業(yè)相關。對于這類任務來說，算力的需求就不那么高了，你可能只需要幾萬美元，甚至幾十萬美元就能解決問題。

對于第一種場景，算力是絕對必要的，訓練方法同樣重要。對于第二種場景，算力的需求就不那么高，大部分公司都可以承擔這個費用，但訓練方法仍然非常重要。

02

垃圾數(shù)據(jù)訓練垃圾模型

劉興亮：數(shù)據(jù)是大模型的這個生命源泉嗎，越多就越好嗎？

丁磊：訓練模型使用數(shù)據(jù)，就像讓孩子學習新知識和練習新題目一樣。你可能認為孩子書讀得越多，或者做得習題越多就越好，但其實并不一定是這樣。因此，我們在討論數(shù)據(jù)時不僅要關注數(shù)據(jù)的量，還要關注數(shù)據(jù)的質(zhì)量。如果數(shù)據(jù)的質(zhì)量不好，僅僅增加數(shù)據(jù)量也沒有用處。

如果你每天學習互聯(lián)網(wǎng)上的垃圾信息，能學到什么好的模型？所以學習這件事就是「垃圾進，垃圾出」。所以數(shù)據(jù)不僅要大，還要質(zhì)量好。在這里我提出了一個觀點——數(shù)據(jù)要大，包括模型也要大，但更重要的是數(shù)據(jù)要深，即在某個垂直領域能夠深入理解事物。

數(shù)量大而質(zhì)量不好的數(shù)據(jù)絕對無法訓練出好的模型，這個觀點正反兩面都要看，也要辯證地、客觀地進行討論。

劉興亮：大模型訓練所用的數(shù)據(jù)從哪里來，這些數(shù)據(jù)又怎么樣去分層，是否會有隱私和版權(quán)的風險？

丁磊：首先講一下GPT模型的訓練語料來源。根據(jù)OpenAI官方的說法，它的訓練語料主要來自于互聯(lián)網(wǎng)和一些公開的書籍?？梢哉f，這些語料相當于物理世界在數(shù)字空間中的映射，因為互聯(lián)網(wǎng)數(shù)據(jù)是對現(xiàn)實世界的一種反映。通過從互聯(lián)網(wǎng)數(shù)據(jù)中學習，GPT模型可以獲取一定的通識和邏輯。

過去，這些實驗并沒有引起太多關注，但現(xiàn)在這個模型越來越受到重視，利益分配就成為一個問題，今年年初圖片供應商Getty Images起訴了一家推出圖片生成模型的機構(gòu)，聲稱該機構(gòu)使用了他們網(wǎng)站上的圖片來訓練模型，但沒有付費，最終這個官司的結(jié)果尚未確定。

Getty images起訴Stability AI盜圖，左為Stability AI生成圖，右為Getty image

大模型的數(shù)據(jù)來源涉及到如何平衡著作權(quán)保護和創(chuàng)新之間的權(quán)衡問題，要知道訓練模型并不是直接復制數(shù)據(jù)或出版數(shù)據(jù)，這個問題存在一定的灰色地帶，也是一個具有挑戰(zhàn)性的法律問題，我相信未來的法律和法規(guī)會考慮平衡著作權(quán)保護和AI創(chuàng)新的因素，以兼顧各方的共同利益。

劉興亮：大模型訓練的數(shù)據(jù)如何篩選，目前有什么能夠規(guī)避這這類問題的做法？

丁磊：模型訓練的確需要人工質(zhì)檢數(shù)據(jù)來確保數(shù)據(jù)的質(zhì)量。如果不去檢查數(shù)據(jù)，不能確保訓練出來的模型是合理的，人工質(zhì)檢一直是無法回避的話題。

為了更好的訓練模型，通常會在勞動力成本較低的地方建立質(zhì)檢團隊或數(shù)據(jù)標注團隊，以確保訓練數(shù)據(jù)的質(zhì)量。如果沒有這些人工的數(shù)據(jù)標注或質(zhì)檢，很難確保訓練數(shù)據(jù)的質(zhì)量沒有問題。不僅在訓練數(shù)據(jù)方面需要質(zhì)檢，我們也知道在ChatGPT的訓練過程中，也會對模型生成的結(jié)果進行質(zhì)檢。

在模型的發(fā)展過程中，無論是輸入的訓練數(shù)據(jù)還是輸出的結(jié)果，我們都需要通過人工的反饋和修正來改進。未來甚至可以開發(fā)一種大模型，專門用于檢測和打擊虛假數(shù)據(jù)，類似于打假的大模型。

03

大模型取代舊崗位，創(chuàng)造新職業(yè)

劉興亮：很多人都認為大模型未來要取代人工，在這個過程中人類應該如何去應對？

丁磊: 普華永道在2018年底發(fā)布了一份名為《人工智能和相關技術(shù)對中國就業(yè)的凈影響》的報告。

根據(jù)他們的研究，未來20年內(nèi)，人工智能和相關技術(shù)將取代中國26%的工作崗位。好消息是，通過提高生產(chǎn)力和實際收入水平，這些技術(shù)也將新增38%的新工作崗位。這意味著凈增的工作崗位將占到12%，人工智能最終會為就業(yè)創(chuàng)造新的機會。

想象一下，過去我們搬磚是需要靠人力來完成的，但現(xiàn)在通過大型機械設備可以完成搬運工作，隨著建筑業(yè)的發(fā)展，對建筑工人的需求增加了，因為需要蓋更多的房子。

再來看客服行業(yè)，可能是最早受到人工智能改變的行業(yè)之一?？头袠I(yè)在過去在我們國家是不夠的，因為從業(yè)人員數(shù)量不足，尤其是優(yōu)秀的從業(yè)人員不足，所以很多企業(yè)無法提供客服，導致消費者等待時間較長，滿意度較低，企業(yè)失去客戶，這是一個負面影響，但如果我們有更多高質(zhì)量的客服人員，那么會有更多企業(yè)選擇使用客服來改進業(yè)務流程。

不要只看靜態(tài)的情況，從動態(tài)角度來看，需求也在增加，我們需要更多中高端的崗位來創(chuàng)造更多機會。讓人工智能來承擔體力勞動、乏味和耗時的機械化工作，這其實符合工業(yè)革命的邏輯。

劉興亮：人工智能在特定的行業(yè)里面取代人類？

丁磊：先總結(jié)一下，人工智能在替代人類工作方面有四個方面：人做不了的任務、人搞不太好的任務、人效率低的任務和人不穩(wěn)定的任務。

首先是人類無法完成的任務。例如，在危險環(huán)境下，人類無法進行工作，這時就需要使用機器人來代替。其次是一些需要實時數(shù)據(jù)處理的任務，如廣告推薦系統(tǒng)，傳統(tǒng)的方法無法實時處理大量數(shù)據(jù)，而人工智能算法可以通過數(shù)據(jù)分析來進行實時推薦。

第二個方面是人類不擅長的任務。舉個例子，傳統(tǒng)金融機構(gòu)進行風險控制時需要進行審查和判斷。傳統(tǒng)方法可能受限于數(shù)據(jù)的不完整性，無法做出準確判斷。然而結(jié)合人工智能的數(shù)據(jù)分析能力，可以通過大量底層數(shù)據(jù)的分析來準確評估風險，提高判斷質(zhì)量。

第三個方面是人類效率較低的任務。內(nèi)容、設計等行業(yè)存在許多基礎的文案和圖片工作，通過使用人工智能工具，可以大幅提高工作效率，例如快速創(chuàng)作文案和生成圖片，在這些工作場景下對人的產(chǎn)出進行提效。

第四個方面是人類工作存在的不穩(wěn)定性。例如，工廠中的質(zhì)檢工作需要人員檢查產(chǎn)品是否有劃痕等問題，人工智能質(zhì)檢可以解決這類工作中人類存在的不穩(wěn)定性，保證產(chǎn)品標準的統(tǒng)一。

04

大模型不會具備情感功能

劉興亮：有不少人開始提及AI談戀愛的這個概念，您覺得AI真的會有情感嗎，需求真實存在嗎？

丁磊：如果有一個工具可以滿足人的情感需求，這可能是一件好事。你也可能認為人工智能可能不會產(chǎn)生情感，因為它只是一個程序，有著自己的目標，比如優(yōu)化回答的準確率或提升客戶滿意度。

訓練模型時會設定特定的KPI，模型可能會在這些指標上表現(xiàn)出色，但本身它是一個數(shù)字化的產(chǎn)物，不具備人類情感的機制。我們?nèi)祟悓η楦袡C制的理解可能也并不完全，它可能是由人類大腦的某個部分產(chǎn)生的，我們對此并不十分了解。從這個意義上說，模型作為一個數(shù)字化的載體相對簡單，我認為它不太可能具備自己的情感。

作為AI數(shù)字人，如果它能夠非常逼真地模仿一個人，可以以假亂真。在這種情況下，需要得到相關當事人的同意，包括被復制人的同意。在這個前提下，我認為可以解決一些現(xiàn)實問題。所以，雖然人工智能可能無法真正產(chǎn)生情感，但在滿足人們某些情感需求的方面，通過逼真地模仿和復制人的方式，人工智能仍然有一定的應用前景。

圖為網(wǎng)友ChaChaAI利用AI技術(shù)“復活”自己的奶奶

劉興亮：AI的自主意識會成為可能嗎？

丁磊：自主意識是一個更加抽象的概念。當我們能夠觀察到與自主意識相對應的動作和行為時，我們才能認為人工智能具有自主意識，這種理解可以類比為讓大型模型自主控制你的電腦。

最近，微軟發(fā)布Windows的集中式AI協(xié)助平臺Copilot，用戶可以通過與Windows進行對話形式的交互，向它發(fā)出指令，它會執(zhí)行相應的任務。但這仍然是一種對話形式，而不是真正的自主意識。

當我們將大型模型與各種工具（包括軟件和硬件）連接在一起時，你可以近似地認為它具有一定程度的自主意識。這種體驗是指你的電腦不再只是按照你的指令動作，而是以它自己的方式與你交互，你可以將你的電腦視為一個機器人，當它在沒有過多限制的情況下自主驅(qū)動時，一定程度上，你可以想象它具備了自主意識的外在表現(xiàn)形式。

生成海報

免責聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個人觀點，與極客網(wǎng)無關。文章僅供讀者參考，并請自行核實相關內(nèi)容。投訴郵箱：editor@fromgeek.com。

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。