零售行業(yè)正在探索應(yīng)用 AI 升級(jí)客戶體驗(yàn)，同時(shí)優(yōu)化內(nèi)部流程。面對(duì)多重應(yīng)用場(chǎng)景以及成本優(yōu)化壓力，團(tuán)隊(duì)可采用成本相對(duì)可控的方案，來(lái)應(yīng)對(duì)多重場(chǎng)景的前期項(xiàng)目預(yù)演和落地，避免短期內(nèi)大規(guī)模投入造成的資源浪費(fèi)。
客戶體驗(yàn) AI 場(chǎng)景的研究目前集中在 AI 客服，內(nèi)部流程主要是 AI 營(yíng)銷、合同生成、合規(guī)審查和供應(yīng)鏈優(yōu)化等。在項(xiàng)目研究和前期預(yù)演階段，采用 NVIDIA RTX? 系列的高性能 GPU，進(jìn)行本地化部署大模型，已經(jīng)可以經(jīng)濟(jì)又高效地應(yīng)對(duì)多數(shù)的 AI 場(chǎng)景開發(fā)。
1、AI 客服場(chǎng)景與適配算力
很多零售企業(yè)在轉(zhuǎn)型中開始基于 DeepSeek 搭建客服，客服場(chǎng)景以對(duì)話交互為主，輸入與輸出較短，對(duì)并發(fā)、首字延遲有一定需求。接下來(lái)列舉幾個(gè)常用模型場(chǎng)景，以及我們所測(cè)試的算力方案數(shù)據(jù)。
· 選擇模型 DeepSeek-R1 32B（FP16），采用4卡 NVIDIA RTX? 5000 Ada（單卡32GB顯存）的方案，可以支持約64個(gè)用戶同時(shí)進(jìn)行簡(jiǎn)單問(wèn)答，來(lái)保障首字時(shí)延控制大約在1秒以內(nèi)；采用 8卡 NVIDIA RTX? 5000 Ada 則可以支持至120多個(gè)并發(fā)，首字時(shí)延保持在2秒以內(nèi)。
*測(cè)試數(shù)據(jù)來(lái)源：贊奇科技
*本表所列成本預(yù)估具有動(dòng)態(tài)調(diào)整特性，如想及時(shí)了解最新價(jià)格可聯(lián)系文末小助手。
· 選擇模型 DeepSeek-R1 70B（FP16），采用 8卡 NVIDIA RTX? 5880 Ada（單卡48GB顯存） 的平臺(tái)方案，能夠應(yīng)對(duì)80多個(gè)并發(fā)，首字時(shí)延控制在3秒以內(nèi)。
*測(cè)試數(shù)據(jù)來(lái)源：贊奇科技
*本表所列成本預(yù)估具有動(dòng)態(tài)調(diào)整特性，如想及時(shí)了解最新價(jià)格可聯(lián)系文末小助手。
· 通義千問(wèn) QWQ 32B 模型因其回答問(wèn)題邏輯性強(qiáng)，逐漸被用戶所認(rèn)可，性能直逼 DeepSeek 滿血版，采用4卡 NVIDIA RTX? 5000 Ada （單卡32GB顯存）時(shí)，并發(fā)數(shù)在100以內(nèi)時(shí)，平均用戶吞吐率可以達(dá)到 14 tokens/s。
*測(cè)試數(shù)據(jù)來(lái)源：贊奇科技
*本表所列成本預(yù)估具有動(dòng)態(tài)調(diào)整特性，如想及時(shí)了解最新價(jià)格可聯(lián)系文末小助手。
*數(shù)據(jù)測(cè)試環(huán)境：
4卡測(cè)試環(huán)境：CPU：Intel(R)Xeon(R) w5-3433，內(nèi)存：256GB DDR5，硬盤：1TB。
8卡測(cè)試環(huán)境：CPU：英特爾? 至強(qiáng)? Silver 4314，內(nèi)存：256GB DDR4，硬盤：3.84TB。
2、AI 營(yíng)銷場(chǎng)景與適配算力
依托 DeepSeek 模型逐步開發(fā)企業(yè)自有的智能營(yíng)銷工作流，可以極大地降本增效。該場(chǎng)景則以知識(shí)庫(kù)場(chǎng)景為主，需要流暢地對(duì)海量文檔、數(shù)據(jù)庫(kù)信息進(jìn)行檢索和輸出內(nèi)容，長(zhǎng)輸入長(zhǎng)輸出場(chǎng)景居多，對(duì)于并發(fā)、時(shí)延、吞吐率都有一定要求。
對(duì)于小型團(tuán)隊(duì)來(lái)說(shuō)，采用4卡 NVIDIA RTX 5000 Ada 的機(jī)型方案，可以應(yīng)對(duì)基本的擴(kuò)散模型訓(xùn)練、文生圖、文生視頻等生成式 AI 設(shè)計(jì)需求，也能應(yīng)對(duì) AI 營(yíng)銷文案制作、數(shù)據(jù)分析處理等應(yīng)用，可預(yù)期達(dá)到的性能效果如下：
· 采用 DeepSeek-R1 32B（FP16）模型，長(zhǎng)輸入、長(zhǎng)輸出的場(chǎng)景中，能夠支持64個(gè)并發(fā)，保證流暢地信息檢索和輸出；
· 采用通義千問(wèn) QWQ 32B （FP16）模型，長(zhǎng)輸入長(zhǎng)輸出的場(chǎng)景里，能夠較好地支持到80個(gè)并發(fā)。
*測(cè)試數(shù)據(jù)來(lái)源：贊奇科技
*本表所列成本預(yù)估具有動(dòng)態(tài)調(diào)整特性，如想及時(shí)了解最新價(jià)格可聯(lián)系文末小助手。
對(duì)于大型項(xiàng)目或團(tuán)隊(duì)來(lái)說(shuō)，搭載 8卡 NVIDIA RTX 5880 Ada 并行計(jì)算，預(yù)期的性能效果如下：
· 采用 DeepSeek-R1 32B（FP16）模型，長(zhǎng)輸入、長(zhǎng)輸出的場(chǎng)景中，能夠很好地支持80個(gè)并發(fā)；
· 采用 DeepSeek-R1 70B（FP16）模型，長(zhǎng)輸入、長(zhǎng)輸出的場(chǎng)景中，可以較好地支持16個(gè)并發(fā)。
*測(cè)試數(shù)據(jù)來(lái)源：贊奇科技
*測(cè)試環(huán)境同上
*本表所列成本預(yù)估具有動(dòng)態(tài)調(diào)整特性，如想及時(shí)了解最新價(jià)格可聯(lián)系文末小助手。
生成式 AI 設(shè)計(jì)項(xiàng)目中，ComfyUI 工作流可以較好地幫助企業(yè)快速地制作產(chǎn)品營(yíng)銷圖/視頻，更快地迭代營(yíng)銷方案。所涉及的模型如 SDXL，F(xiàn)lux 等，在高 batch size 情形下的訓(xùn)練和推理，GPU 顯存建議在24GB以上。我們測(cè)試了一些 batch size 模型訓(xùn)練和推理的場(chǎng)景數(shù)據(jù)，供大家在 GPU 選型時(shí)做參考：
*以上數(shù)據(jù)使用電商數(shù)據(jù)集進(jìn)行測(cè)試，數(shù)據(jù)來(lái)源于贊奇科技
*數(shù)據(jù)測(cè)試環(huán)境：
GPU: NVIDIA RTX 5000 Ada (32GB) *1 / NVIDIA RTX 5880 Ada (48GB) *1
CPU: Intel i5-12600KF (3.7GHz) *1，
內(nèi)存：64GB，系統(tǒng)：win 11
在生成式 AI+三維可視化結(jié)合開發(fā)產(chǎn)品配置器、線上導(dǎo)購(gòu)、數(shù)字人導(dǎo)購(gòu)員等數(shù)字孿生場(chǎng)景中，NVIDIA RTX GPU 既可以進(jìn)行 AI 訓(xùn)練推理，又因?yàn)槠渚哂?RT core，也可以用于支持圖形可視化場(chǎng)景，這是其獨(dú)到的優(yōu)勢(shì)。這類數(shù)字孿生的營(yíng)銷場(chǎng)景，需要由 NVIDIA RTX 5000 Ada 或 NVIDIA RTX 5880 Ada 來(lái)做助力，才能運(yùn)行得起較為復(fù)雜的模型和高并發(fā)的場(chǎng)景。
3、其他 AI 應(yīng)用場(chǎng)景
其他 AI 應(yīng)用場(chǎng)景例如合同生成、合規(guī)審查、供應(yīng)鏈優(yōu)化、用戶行為分析等，需要實(shí)時(shí)處理大量數(shù)據(jù)，進(jìn)行復(fù)雜的模型推理與分析，可采取四卡乃至八卡 NVIDIA RTX 5880 Ada 的方案，憑借高顯存與超強(qiáng)的并行計(jì)算能力來(lái)執(zhí)行較為復(fù)雜的 AI 任務(wù)。例如合同生成，同樣也是大語(yǔ)言模型推理中，主要涉及長(zhǎng)輸入、長(zhǎng)輸出的場(chǎng)景，數(shù)據(jù)可參考上方 AI 營(yíng)銷場(chǎng)景的數(shù)據(jù)。
供應(yīng)鏈優(yōu)化、用戶行為分析等場(chǎng)景，需具體依據(jù)用戶的數(shù)據(jù)庫(kù)、系統(tǒng)等信息來(lái)做判斷，贊奇目前開放免費(fèi)為用戶咨詢?cè)u(píng)估，具體可點(diǎn)擊下方鏈接登記。
https://rlzqlo1asm.feishu.cn/share/base/form/shrcnCbOVoltOXPQjFxveqrrIQb
以上數(shù)據(jù)均為測(cè)試得出，為用戶高效地選型提供參考。但涉及到用戶的多重場(chǎng)景和特殊需求，建議大家提前做機(jī)器測(cè)試，以調(diào)整至最優(yōu)方案。下面列出上方提到的兩個(gè)型號(hào)顯卡的具體參數(shù)。
這兩個(gè)型號(hào)均為 NVIDIA RTX Ada Lovelace 架構(gòu)的頂配顯卡，AI 能力與圖形性能都遠(yuǎn)遠(yuǎn)超過(guò)了上一代安培架構(gòu)“卡皇”——NVIDIA RTX? A6000。
NVIDIA RTX 系列高性能顯卡參數(shù)概覽
*與NVIDIA產(chǎn)品相關(guān)的圖片或視頻（完整或部分）的版權(quán)均歸NVIDIA Corporation所有。
技術(shù)支持
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
