亞馬遜云科技陳曉建:重塑云基礎(chǔ)設(shè)施,端到端發(fā)力釋放生成式AI潛能

12月15日消息(岳明)作為全球云計算行業(yè)創(chuàng)新的風(fēng)向標(biāo),一年一度的亞馬遜云科技re:Invent大會備受產(chǎn)業(yè)界矚目。在此次大會上,亞馬遜云科技圍繞底層基礎(chǔ)設(shè)施、生成式人工智能、數(shù)據(jù)戰(zhàn)略等推出了一系列新服務(wù)及功能;此外,針對機(jī)器學(xué)習(xí)訓(xùn)練和生成式AI應(yīng)用等廣泛的工作負(fù)載,亞馬遜云科技推出新一代自研芯片Amazon Graviton4和Amazon Trainium2。

12月12日,亞馬遜云科技2023 re:Invent中國行城市巡展活動開啟,將覆蓋北京、上海、廣州、深圳、成都、青島、南京、西安、杭州、長沙 10 座城市。在北京首站活動上,亞馬遜云科技大中華區(qū)產(chǎn)品部總經(jīng)理陳曉建表示:“亞馬遜云科技在基礎(chǔ)設(shè)施、計算、存儲、數(shù)據(jù)等領(lǐng)域持續(xù)重塑云計算,并圍繞當(dāng)今最具變革性的技術(shù)生成式AI推出重磅新服務(wù)及功能,希望通過這些技術(shù)創(chuàng)新幫助更多企業(yè)加快創(chuàng)新速度,利用生成式AI全面重塑未來。”

性能+性價比+韌性:重塑云基礎(chǔ)設(shè)施

陳曉建指出,亞馬遜云科技一直秉承著逆向工作法(Working backwards)的理念,從數(shù)百萬客戶的需求出發(fā)構(gòu)建產(chǎn)品。作為云計算開拓者,亞馬遜云科技一直通過最安全、最可靠的企業(yè)級能力來賦能客戶應(yīng)用,擁有業(yè)界最廣泛、最深入的功能。

身受才能感同,在運營Amazon.com電商業(yè)務(wù)時,亞馬遜云科技親身經(jīng)歷了配置和管理IT基礎(chǔ)設(shè)施是多么的困難和昂貴,這也是亞馬遜云科技重新思考如何管理和提供IT基礎(chǔ)架構(gòu)的初衷。“我們希望任何人都能夠擁有和全球最頂尖公司一樣先進(jìn)、強(qiáng)大的IT功能。通過按需、安全、可靠并且經(jīng)濟(jì)高效的云計算服務(wù),重塑IT基礎(chǔ)設(shè)施,從根本上做到技術(shù)普惠。”

目前,亞馬遜云科技的基礎(chǔ)設(shè)施已經(jīng)覆蓋于全球32個地理區(qū)域,還有5個區(qū)域即將推出,這些區(qū)域提供了全球完全一致的體驗、高可用和災(zāi)難恢復(fù)能力。與很多公有云服務(wù)提供商不同,亞馬遜云科技的每個區(qū)域都由3個或者更多的可用區(qū)組成,完全物理隔離,通過毫秒級的冗余光纖網(wǎng)絡(luò)互聯(lián),幫助客戶實現(xiàn)自身業(yè)務(wù)系統(tǒng)韌性。

除了全球布局的數(shù)據(jù)中心,亞馬遜云科技通過Amazon Local Zone、Amazon Outposts、Amazon Snowball、Amazon Private 5G等服務(wù),把云從中心拓展到邊緣,并且還通過Amazon Ground Station加速衛(wèi)星數(shù)據(jù)上云,把云計算帶入太空。比如,亞馬遜推出的“Kuiper計劃”,通過數(shù)千顆近地軌道衛(wèi)星來組成的衛(wèi)星網(wǎng)絡(luò),為數(shù)億個缺乏可靠的互聯(lián)網(wǎng)連接的用戶提供更加快捷、可靠的寬帶服務(wù),并幫助他們縮小數(shù)字鴻溝。除了公共互聯(lián)網(wǎng)連接之外,Kuiper還將提供企業(yè)級的專用連接服務(wù)。這些服務(wù)預(yù)計將于2024年下半年開始測試。

在數(shù)據(jù)中心內(nèi)部,亞馬遜云科技對云計算的“重塑”更值得關(guān)注。

存儲方面,亞馬遜科技雖然沒有發(fā)明存儲,但2006年推出的Amazon S3對象存儲服務(wù),卻重新定義了業(yè)界對于存儲的理解。Amazon S3提供了高度持久、高性能的對象存儲,并且容量可以無限拓展。目前,Amazon S3可以提供豐富多樣的存儲層級,以及智能分層功能,幫助客戶選擇適合當(dāng)前業(yè)務(wù)的層級,降低管理復(fù)雜性,最大限度地降低使用成本。

針對 性能處理的金融交易分析、欺詐檢測、基于機(jī)器學(xué)習(xí)的量化交易等特殊場景,亞馬遜云科技推出了全新架構(gòu)的Amazon S3 Express One Zone。它使用專門的硬件和軟件,并且將存儲訪問的數(shù)據(jù)和高性能計算應(yīng)用就近部署,提供毫秒級延時,支持每分鐘數(shù)百萬次請求。與標(biāo)準(zhǔn)版相比,性能提升了10倍,但總成本降低40%,“事實證明,魚與熊掌可以兼得。”

計算方能,亞馬遜科技在不斷重塑通用計算芯片。“十年前我們就意識到,想要提供極致的性價比,就需要考慮設(shè)計自研服務(wù)器芯片。”2018年,亞馬遜云科技推出了業(yè)界第一款自研通用芯片Amazon Graviton,在隨后的幾個版本迭代中,大幅提升了性能,同時帶來了可觀的成本節(jié)約。在2023 re:Invent上,亞馬遜云科技發(fā)布了最新的Amazon Graviton4,較上代產(chǎn)品擁有超過50%的核心以及75%的內(nèi)存帶寬提升。

在云原生時代,Serverless作為一種全新的開發(fā)模型,正在得到越來越多企業(yè)級用戶和開發(fā)者的青睞。作為業(yè)界率先推出Serverless服務(wù)的云提供商,亞馬遜云科技在Serverless上的版圖在不斷擴(kuò)展,從底層的計算和存儲領(lǐng)域,逐漸擴(kuò)展到數(shù)據(jù)庫服務(wù)等高端應(yīng)用。在數(shù)據(jù)庫服務(wù)方面,亞馬遜云科技推出了Grover系統(tǒng)、Caspian協(xié)同資源管理系統(tǒng)、Amazon Aurora Limitless Database(可自動擴(kuò)展分布式分片)、Amazon Time Sync Service等極具創(chuàng)新性產(chǎn)品,實現(xiàn)更多的Serverless數(shù)據(jù)服務(wù)。除此之外,亞馬遜云科技還將AI能力集成到Serverless服務(wù)中,通過AI模型主動預(yù)判Serverless工作負(fù)載并予以優(yōu)化,提升數(shù)據(jù)倉庫的的彈性能力。

三個層面端到端發(fā)力:釋放生成式AI無限潛能

陳曉建指出,生成式AI正在以意想不到的方式提供生產(chǎn)力,同時也在激發(fā)人類的智慧和創(chuàng)造力,亞馬遜云科技相信生成式AI和業(yè)務(wù)的結(jié)合會充滿著無限的可能性。

生成式AI愿景美好,但是現(xiàn)實是殘酷的,每個企業(yè)在落地生成式AI時都會碰到非常多的挑戰(zhàn):如何兼顧規(guī)模和成本,如何選擇最適合的生成式AI模型,如何保證自身業(yè)務(wù)的安全性和隱私,如何利用私有數(shù)據(jù)去訓(xùn)練模型,讓生成式AI模型成為領(lǐng)域?qū)<遥瑔栴}不一而足。

面對這些問題,亞馬遜云科技給出的答案是“端到端全棧持續(xù)投入。在底層,亞馬遜云科技提供用于訓(xùn)練基礎(chǔ)模型和模型應(yīng)用的基礎(chǔ)設(shè)施;中間層,提供訪問基礎(chǔ)模型的最便捷方式,讓沒有AI經(jīng)驗的構(gòu)建者,直接獲得應(yīng)用生成式人工智能所需的所有工具,來構(gòu)建AI應(yīng)用;在應(yīng)用層,亞馬遜云科技提供基礎(chǔ)模型構(gòu)建的“開箱即用”的應(yīng)用程序,讓沒有技術(shù)基礎(chǔ)的業(yè)務(wù)用戶,也能在具體場景中直接使用生成式AI。

底層基礎(chǔ)設(shè)施層面,亞馬遜云科技的關(guān)注點始終是性能、成本和最終經(jīng)濟(jì)效益。作為最早將GPU加速計算芯片帶入云端的云服務(wù)廠商,亞馬遜云科技在Amazon EC2 P3的實例中率先提供了NVIDIA V100 GPU;在今年,又在Amazon EC2 P5實例中引入了NVIDIA H100 GPU,提供了驚人的性能。GPU單芯片算力只是一方面,高性能服務(wù)器集群同樣是模型訓(xùn)練的關(guān)鍵。Amazon EFA可以提供了高達(dá)3.2T的網(wǎng)絡(luò)互聯(lián)能力,客戶可以在單個集群中部署多達(dá)兩萬個GPU芯片的超級規(guī)模集群,提供相當(dāng)于20個EFLOPS的集成算力,等同于一臺超級計算機(jī)。

當(dāng)然,對于生成式人工智能而言,超高性能并不是唯一,“用戶還需要有更多的選擇,包括極致性價比。”在2018年,亞馬遜云科技推出了第一代Amazon Graviton芯片,專門用于AI訓(xùn)練(Amazon Trainium)和推理(Amazon Inferentia)。隨著數(shù)據(jù)量越來越大,模型的規(guī)模越來越大,需要不斷地提升性價比,亞馬遜云科技推出了Amazon Trainium2,與上代產(chǎn)品相比,性能提升了四倍,特別針對于數(shù)千億甚至數(shù)萬億參數(shù)的大模型訓(xùn)練進(jìn)行了調(diào)優(yōu)。

硬件性能的充分釋放,離不開軟件的配合。亞馬遜云科技推出了Amazon Neuron軟件開發(fā)工具包,可以幫助用戶更好、更快捷地使用定制化的訓(xùn)練和推理芯片。Amazon Neuron支持Tensorflow、PyTorch常用的ML框架,客戶通常只需要幾行代碼,就能夠利用他們已有的知識構(gòu)建訓(xùn)練和推理管道,將應(yīng)用移植到全新的硬件堆棧上來。

不過,并不是所有用戶都具備從基礎(chǔ)設(shè)施層到應(yīng)用層的完整實施能力,如何對眾多的大模型進(jìn)行甄別,如何快速部署,如何讓大模型與自身業(yè)務(wù)數(shù)據(jù)和應(yīng)用進(jìn)行融合,如何保證在數(shù)據(jù)訓(xùn)練之中業(yè)務(wù)和數(shù)據(jù)的隱私和安全性等問題,亞馬遜云科技給出的答案是Amazon Bedrock。

作為承上啟下的中間層,Amazon Bedrock是個全新平臺,可以幫助用戶以一個API極簡的方式來進(jìn)行模型選擇,并且可以支持使用企業(yè)自有業(yè)務(wù)數(shù)據(jù)進(jìn)行模型定制,通過久經(jīng)考驗的云安全的方式,比如TLS(傳輸層安全性協(xié)議)加密、IAM(身份和訪問管理)身份認(rèn)證、網(wǎng)絡(luò)隔離等,最大限度地保證業(yè)務(wù)數(shù)據(jù)的隱私。

Amazon Bedrock提供了廣泛的模型選擇,除了亞馬遜云科技自研的Amazon Titan模型,也可以支持Anthropic最新的Claude2.1模型,以及Meta Llama 2等開源大模型。其中,Amazon Titan沉淀了亞馬遜在機(jī)器學(xué)習(xí)、人工智能方面超過25年的實踐經(jīng)驗,以構(gòu)建負(fù)責(zé)任的模型作為首要原則,可以提供一系列功能強(qiáng)大和經(jīng)濟(jì)實惠的模型,為用戶提供最好的解決方案。Amazon Titan支持多模態(tài)應(yīng)用,基于Amazon Titan Multimodal Embeddings功能,可以直接創(chuàng)建更豐富的多模態(tài)的搜索和應(yīng)用體驗,快速生成、存儲和檢索嵌入信息,該功能已經(jīng)商用。

Amazon Bedrock支持RAG增強(qiáng)檢索生成、定制化微調(diào)以及持續(xù)預(yù)訓(xùn)練等工具能力,能夠讓生成式AI具備更強(qiáng)的針對性。與此同時,亞馬遜云科技還推出了Amazon Bedrock Agents功能,能夠把大模型和生成式AI相連接,現(xiàn)在已經(jīng)正式可用。

在最上層的應(yīng)用層,亞馬遜云科技推出了全新的生成式AI助手Amazon Q。Amazon Q可以通過自然語言交互來快速獲得答案。出于安全和隱私保護(hù),Amazon Q支持身份識別,需要使用身份和訪問權(quán)限來進(jìn)行訪問。

陳曉建指出,Amazon Q的應(yīng)用場景非常廣泛。比如在開發(fā)者場景,開發(fā)人員可以詢問Amazon Q任何有與產(chǎn)品相關(guān)的問題,而且是通過自然語言的方式。“只要問一個簡單自然語言的指令,Amazon Q就可以幫助我們生成相應(yīng)的代碼,進(jìn)而完成一系列操作。”再比如在商業(yè)智能BI場景,在Amazon Q的能力加持下,可以通過聊天記錄,通過文本的自然語言方式,更輕松的展現(xiàn)BI工作,生成概要總結(jié)。

“生成式AI時代,用戶不僅需要擁有一個強(qiáng)大的模型,還需要擁有一個強(qiáng)大的數(shù)據(jù)底座。不僅需要全面的數(shù)據(jù)能力,還需要數(shù)據(jù)能力能夠在不同的環(huán)境之中可以打通,在不同的產(chǎn)品之間可以流通。”陳曉建表示,“亞馬遜云科技所提供的是一個完整的、全面的、端到端的數(shù)據(jù)服務(wù),用戶需要這樣的廣度和深度,才不會為了成本、性能和規(guī)模去妥協(xié)。”

極客網(wǎng)企業(yè)會員

免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實,并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。

2023-12-15
亞馬遜云科技陳曉建:重塑云基礎(chǔ)設(shè)施,端到端發(fā)力釋放生成式AI潛能
亞馬遜云科技陳曉建:重塑云基礎(chǔ)設(shè)施,端到端發(fā)力釋放生成式AI潛能,C114訊 12月15日消息(岳明)作為全球云計算行業(yè)創(chuàng)新的風(fēng)向標(biāo),一年一度的亞馬遜云科技re:In

長按掃碼 閱讀全文