10月2日消息，美東時間10月1日OpenAI舉行了年度開發(fā)者大會DevDay，推出系列新工具，包括四大創(chuàng)新：實時API（Realtime API）、視覺微調(diào)（Vision Fine-Tuning）、提示詞緩存（Prompt Caching）、模型蒸餾（Model Distillation），為開發(fā)者帶來在降低模型成本、提高模型視覺理解水平、提升語音AI功能和小模型性能的新選擇。在OpenAI官網(wǎng)，上述功能介紹已經(jīng)做了全面更新，一起看看。
實時 API（Realtime API）
OpenAI DevDay發(fā)布了Realtime API，目前處于公開測試beta階段。
Realtime API 能夠構(gòu)建低延遲、多模式對話體驗。它目前支持文本和音頻作為輸入和輸出，以及函數(shù)調(diào)用。Realtime API 中的音頻功能由新的 GPT-4o 模型“gpt-4o-realtime-preview”提供支持。
通過此更新，開發(fā)人員可以將任何文本或音頻輸入傳遞到 GPT-4o，并讓模型以他們選擇的文本、音頻或兩者做出響應(yīng)。
本質(zhì)上，Realtime API 簡化了構(gòu)建語音助手和其他對話式 AI 工具的過程，無需將多個模型拼接在一起進行轉(zhuǎn)錄、推理和文本到語音的轉(zhuǎn)換。
Realtime API 定價方面，Realtime API 同時使用文本tokens和音頻tokens。文本輸入tokens的價格為5 美元/百萬tokens，輸出tokens的價格為20 美元/百萬tokens。音頻輸入的價格為100 美元/百萬tokens，輸出的價格為200美元/百萬tokens。這相當(dāng)于每分鐘音頻輸入約 0.06 美元，每分鐘音頻輸出約 0.24 美元。
視覺微調(diào)（Vision Fine-Tuning）
OpenAI DevDay公布，OpenAI最新的大語言模型（LLM） GPT-4o 引入了視覺微調(diào)。此功能讓開發(fā)人員可以自定義模型以獲得更強大的圖像理解能力，從而實現(xiàn)增強的視覺搜索功能、改進的自動駕駛汽車或智能城市的物體檢測以及更準(zhǔn)確的醫(yī)學(xué)圖像分析等應(yīng)用。
視覺微調(diào)遵循與文本微調(diào)類似的過程——開發(fā)人員可以準(zhǔn)備他們的圖像數(shù)據(jù)集，然后將該數(shù)據(jù)集上傳到Open AI的平臺。他們可以用少至 100 張圖像來提高 GPT-4o 在視覺任務(wù)中的性能，并使用更大量的文本和圖像數(shù)據(jù)來提高性能。
OpenAI舉例稱，東南亞食品配送和拼車公司Grab已經(jīng)利用這項技術(shù)改進其地圖服務(wù)。僅使用 100 個示例進行視覺微調(diào)，教會 GPT-4o 正確定位交通標(biāo)志并計算車道分隔線以優(yōu)化其地圖數(shù)據(jù)，結(jié)果，與基礎(chǔ) GPT-4o 模型相比，Grab 能夠?qū)④嚨烙嫈?shù)準(zhǔn)確度提高 20%，限速標(biāo)志定位率提高13%。
價格方面，截至 2024年10月31日，OpenAI每天免費提供100萬tokens，以使用圖像微調(diào) GPT-4o。2024 年 10 月 31 日之后，GPT-4o 微調(diào)訓(xùn)練將花費每 100 萬tokens 25 美元，推理將花費每 100 萬個輸入tokens 3.75 美元和每 100 萬個輸出tokens 15 美元。圖像輸入首先根據(jù)圖像大小進行標(biāo)記，然后按與文本輸入相同的每令牌費率定價。
提示詞緩存（Prompt Caching）
提示詞緩存被視為本次DevDay發(fā)布的最重要更新。該功能旨在降低開發(fā)者的成本、減少延遲。
許多開發(fā)人員在構(gòu)建 AI 應(yīng)用程序時，會在多個 API 調(diào)用中重復(fù)使用相同的上下文，例如在編輯代碼庫或與聊天機器人進行長時間的多輪對話時。今天，我們推出了提示詞緩存（Prompt Caching），讓開發(fā)人員可以降低成本和延遲。通過重復(fù)使用最近處理的輸入token，開發(fā)人員可以獲得 50% 的折扣和更快的提示詞處理時間。
目前，提示詞緩存（Prompt Caching）已自動應(yīng)用于最新版本的 GPT-4o、GPT-4o mini、o1-preview 和 o1-mini，以及這些模型的微調(diào)版本。與未緩存的提示相比，緩存的提示可享受折扣。
模型蒸餾（Model Distillation）
OpenAI 推出了一款新的模型蒸餾產(chǎn)品，為開發(fā)人員提供集成的工作流程，以直接在 OpenAI 平臺內(nèi)管理整個蒸餾流程。
這讓開發(fā)人員可以輕松使用前沿模型（如 o1-preview 和 GPT-4o）的輸出來微調(diào)和提高更具成本效益的模型（如 GPT-4o mini）的性能，讓小模型也可擁有尖端模型功能。
這種方法讓小公司也可能利用與尖端模型類似的功能，并且無需承擔(dān)使用這類模型的計算成本。例如一家從事醫(yī)療技術(shù)的小型初創(chuàng)公司要為農(nóng)村的診所開發(fā)一種AI 驅(qū)動的診斷工具。使用模型蒸餾，該公司可以訓(xùn)練一個緊湊的模型，該模型可以捕捉大模型的大部分診斷能力，同時只需要在標(biāo)準(zhǔn)的筆記本電腦或平板電腦上運行。
- 蜜度索驥：以跨模態(tài)檢索技術(shù)助力“企宣”向上生長
- 馬蜂窩大數(shù)據(jù)：“元旦一日游”熱度上漲166%，不少人選擇“請四休九”
- 亞馬遜云科技陳曉建：2025年很多客戶將從生成式AI原型驗證轉(zhuǎn)為生產(chǎn)應(yīng)用
- 林肯中國回應(yīng)“并入福特中國”傳聞：簡化財務(wù)體系 各項業(yè)務(wù)保持不變
- 要做中國的OpenAI？字節(jié)跳動2024年研發(fā)開支接近BAT之和
- 螞蟻旗下跨境匯款平臺為開發(fā)者提供收款服務(wù) 每日限額10萬美元
- 要買車還能再等等！2025年新能源車，這些關(guān)鍵技術(shù)將有重大升級
- AAAA，三七互娛發(fā)起的游心公益基金會社會組織評估等級再提升
- 網(wǎng)易云音樂2024年度聽歌報告刷屏 你最喜歡的歌手是誰？
- 樂道L60公布交付數(shù)據(jù) 上市100天累計交付2萬輛
- 售價33.98萬元起 25款騰勢D9正式上市：全系標(biāo)配天神之眼高階智駕
免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。
