隨著大模型的發(fā)展日新月異,其推理和訓(xùn)練的邊界問題也引起了廣泛討論。近日,清程極智CEO湯雄超在一場行業(yè)活動(dòng)中明確表示,盡管外界有聲音認(rèn)為OpenAI發(fā)布的o1模型模糊了推理和訓(xùn)練的界限,但從技術(shù)角度來看,這兩個(gè)階段的劃分并未發(fā)生本質(zhì)改變。
湯雄超指出,o1模型之所以展現(xiàn)出強(qiáng)大的“推理”能力,實(shí)際上是由于其背后巨大的計(jì)算量消耗。這種計(jì)算量的增加,使得模型能夠獲得更高質(zhì)量的回答。然而,這并不意味著推理和訓(xùn)練的邊界正在變得模糊,而是推理階段的計(jì)算需求正在增加。
清程極智認(rèn)為,推理和訓(xùn)練需要差異化的系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)方式。隨著推理計(jì)算量的增長,未來不僅在訓(xùn)練階段,推理階段也將需要集群規(guī)模的算力系統(tǒng)支持,而非目前的小規(guī)模單卡或單機(jī)算力系統(tǒng)。這預(yù)示著行業(yè)可能需要不同配置的算力集群,以分別應(yīng)對(duì)訓(xùn)練和推理業(yè)務(wù)的需求。
清程極智的技術(shù)背景基于高性能計(jì)算,尤其在超算方面擁有深厚的技術(shù)積累。在超大規(guī)模國產(chǎn)集群進(jìn)行大模型訓(xùn)練方面,清程極智有著經(jīng)典的案例。例如,清程極智的大模型訓(xùn)練系統(tǒng)“八卦爐”能夠擴(kuò)展到10萬臺(tái)服務(wù)器的超大規(guī)模集群,用于訓(xùn)練百萬億參數(shù)量的模型,這一成就在行業(yè)內(nèi)具有里程碑意義。
除了在訓(xùn)練領(lǐng)域的卓越表現(xiàn),清程極智也始終關(guān)注推理的重要性。其推理側(cè)的技術(shù)和產(chǎn)品已經(jīng)服務(wù)于多家大模型企業(yè)。清程極智的推理引擎軟件“chitu”能夠支持多種模型、不同芯片、提供多種接口形式,如OpenAI API(文本對(duì)話)/HTTP API(文生圖),滿足不同場景下的推理需求。
隨著大模型在各行各業(yè)的廣泛應(yīng)用,推理和訓(xùn)練的算力需求都在不斷增長。清程極智預(yù)測,未來行業(yè)將需要更多專業(yè)化、定制化的算力解決方案,以適應(yīng)不斷變化的業(yè)務(wù)需求。這種趨勢要求AI Infra廠商不僅要在技術(shù)上保持領(lǐng)先,還要在服務(wù)上提供更高的靈活性和定制化能力。
綜上所述,盡管大模型的推理和訓(xùn)練在計(jì)算需求上呈現(xiàn)出一定的融合趨勢,但從技術(shù)實(shí)現(xiàn)和系統(tǒng)設(shè)計(jì)的角度來看,兩者的邊界依然清晰。隨著技術(shù)的不斷進(jìn)步和市場需求的日益增長,我們可以期待,未來AI Infra將為大模型的發(fā)展提供更加堅(jiān)實(shí)的支撐。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
