首頁(yè)|必讀|視頻|專訪|運(yùn)營(yíng)|制造|監(jiān)管|大數(shù)據(jù)|物聯(lián)網(wǎng)|量子|元宇宙|博客|特約記者
手機(jī)|互聯(lián)網(wǎng)|IT|5G|光通信|人工智能|云計(jì)算|芯片報(bào)告|智慧城市|移動(dòng)互聯(lián)網(wǎng)|會(huì)展
首頁(yè) >> 技術(shù) >> 正文

揭秘 watsonx 平臺(tái)構(gòu)建的幕后開源技術(shù)

2023年5月12日 07:25  網(wǎng)易科技  

Talia Gershon, IBM 研究院混合云架構(gòu)研究總監(jiān)

Priya Nagpurkar, IBM 研究院混合云平臺(tái)研發(fā)副總裁

Carlos Costa, IBM 研究院基礎(chǔ)模型和多云業(yè)務(wù)首席研究科學(xué)家

Darrell Reimer, IBM 研究院杰出工程師

基礎(chǔ)模型和生成式 AI 激發(fā)人類的集體想象力,推動(dòng)我們發(fā)現(xiàn)改善生活和工作方式的新方法。 從通過自然語言實(shí)現(xiàn)更加無縫的技術(shù)交互,到自動(dòng)生成代碼或其他數(shù)據(jù),再到跨科學(xué)各個(gè)領(lǐng)域的用例,再到應(yīng)用于多科學(xué)領(lǐng)域,基礎(chǔ)模型的應(yīng)用場(chǎng)景與日俱增越來越多。 IBM 的目標(biāo)是將該技術(shù)融入我們的產(chǎn)品組合多個(gè)產(chǎn)品,幫助我們的客戶快速高效且安全地將基礎(chǔ)模型應(yīng)用到他們自己的產(chǎn)品中。在自己的產(chǎn)品中應(yīng)用基礎(chǔ)模型。

在這一過程中,我們分享了為什么在 IBM Cloud 中構(gòu)建 AI 超級(jí)計(jì)算機(jī) Vela。 這項(xiàng)工作大力推動(dòng)我們重構(gòu)整個(gè)技術(shù)堆棧,從而加快我們訓(xùn)練、微調(diào)和部署尖端 AI 模型的步伐。 通過這個(gè)過程,我們成功構(gòu)建了一個(gè)面向基礎(chǔ)模型時(shí)代進(jìn)行優(yōu)化的現(xiàn)代化、靈活的 AI 軟件棧。

本博文將介紹在 Red Hat OpenShift Container Platform 上運(yùn)行的高性能云原生 AI 訓(xùn)練堆棧,該平臺(tái)是新推出的watsonx 平臺(tái)的構(gòu)建基礎(chǔ)。

作為訓(xùn)練堆棧的補(bǔ)充,我們的技術(shù)?山档统杀九c優(yōu)化性能,對(duì)基礎(chǔ)模型進(jìn)行調(diào)整并為其提供服務(wù)。 以下多項(xiàng)技術(shù)已貢獻(xiàn)給開源社區(qū)在開源社區(qū)中發(fā)布,如 PyTorch、Ray、Kserve 和 Open Data Hub (ODH) (一個(gè)可在 Kubernetes 上構(gòu)建、部署和管理數(shù)據(jù)密集型應(yīng)用的開源平臺(tái))。 在 ODH 上發(fā)展成熟的技術(shù)隨后被引入 Red Hat 的 OpenShift AI,IBM 目前的新一代 AI 平臺(tái) watsonx.ai 使用 Red Hat OpenShift AI。 借助這種方法,IBM 和 Red Hat 為客戶提供最先進(jìn)的開源基礎(chǔ)模型棧,以支持在他們選擇的任何環(huán)境(本地、IBM Cloud 或其他公有云)中運(yùn)行。

如需了解IBM技術(shù)、產(chǎn)品和服務(wù)的更多信息,點(diǎn)擊訪問IBM官網(wǎng)。

我們的基礎(chǔ)模型訓(xùn)練方法

我們?cè)陂_始重構(gòu) AI 訓(xùn)練堆棧時(shí)有兩個(gè)目標(biāo)。 首先,一是希望保持傳統(tǒng) HPC 系統(tǒng)的實(shí)用性:最大程限度提高硬件利用率,并高效利用高性能基礎(chǔ)架構(gòu)。 其次,二是希望提供混合云開發(fā)體驗(yàn)的靈活性和生產(chǎn)力優(yōu)勢(shì):提高開發(fā)敏捷性和代碼重用率,簡(jiǎn)化基礎(chǔ)架構(gòu)和軟件的管理與擴(kuò)展。 為了實(shí)現(xiàn)第二個(gè)目標(biāo),我們使用 Kubernetes 構(gòu)建解決方案,通過容器復(fù)用代碼以及擴(kuò)展軟件。 但這一決定意味著我們需要將 Kubernetes 轉(zhuǎn)化為可處理高性能工作負(fù)載的平臺(tái)。

我們還需要一個(gè)可以應(yīng)對(duì)每一步 AI 訓(xùn)練工作流程的解決方案:進(jìn)行數(shù)據(jù)預(yù)處理、分布式訓(xùn)練和模型驗(yàn)證。 我們確定了合作的關(guān)鍵開源社區(qū),共同處理端到端工作流程,確定了需要克服的關(guān)鍵用戶體驗(yàn)障礙,以便用戶啟動(dòng)、運(yùn)行和擴(kuò)展工作。

下圖1的左側(cè)介紹了我們的訓(xùn)練軟件堆棧的整體情況,該堆棧自2022年底以來一直在 IBM Cloud 的 Vela 上運(yùn)行,由 IBM 研究院使用。 圖1右側(cè)描述了我們用于調(diào)整和提供基礎(chǔ)模型的堆棧,稍后將在博客中詳細(xì)討論。

圖1:我們的云原生軟件堆棧,用于訓(xùn)練和驗(yàn)證(左)以及調(diào)優(yōu)和服務(wù)(右)基礎(chǔ)模型 高級(jí) Kubernetes 原生資源利用與管理

這項(xiàng)工作伊始,Kubernetes 生態(tài)系統(tǒng)在大規(guī)模和高性能 AI 工作負(fù)載方面仍然存在重大差距。 早期關(guān)注的重點(diǎn)領(lǐng)域之一是將基礎(chǔ)架構(gòu)功能(如網(wǎng)絡(luò)資源)應(yīng)用于工作負(fù)載,而不會(huì)產(chǎn)生額外的開銷。 為此了實(shí)現(xiàn)這一想法,我們創(chuàng)建了一個(gè)多 NIC CNI 操作程序,消除了封裝,可配置底層網(wǎng)絡(luò)接口并將網(wǎng)絡(luò)延遲減少了一半,消除了封裝,同時(shí)與開箱即用的容器網(wǎng)絡(luò)解決方案相比帶寬增加了七倍。帶寬比即用型容器網(wǎng)絡(luò)解決方案多出7倍。 這些改進(jìn)對(duì)最終用戶完全透明。

我們嘗試填補(bǔ)的第二個(gè)空白領(lǐng)域是使用正確的云原生作業(yè)調(diào)度程序。 由于大量 AI 開發(fā)人員希望提交作業(yè)以在 Vela 上運(yùn)行,我們需要一個(gè)調(diào)度程序來分配資源并確定作業(yè)的優(yōu)先級(jí),以最大限度地提升資源利用率。 為了解決這個(gè)問題,IBM 研究人員創(chuàng)建了多集群應(yīng)用進(jìn)程調(diào)度程序 (MCAD),可提供作業(yè)隊(duì)列、作業(yè)優(yōu)先級(jí)與搶占、超時(shí)以及系統(tǒng)用戶之間的資源共享編排。 此外,我們啟用了工作負(fù)載打包和分組調(diào)度,以消除資源碎片,這些都通過 OpenShift 實(shí)現(xiàn)。 我們進(jìn)一步開發(fā)了InstaScale,它與 MCAD 共同動(dòng)態(tài)擴(kuò)展云托管的 OpenShift 集群。 通過自動(dòng)從云提供商獲取 GPU 并按需發(fā)布,InstaScale 讓從業(yè)者不必?fù)?dān)心基礎(chǔ)架構(gòu)管理和成本問題。

高效、可擴(kuò)展的數(shù)據(jù)預(yù)處理,模型訓(xùn)練與驗(yàn)證

為了使 AI 管道中的所有運(yùn)行步驟簡(jiǎn)單高效,我們主要運(yùn)用 和貢獻(xiàn)PyTorch 和 Ray 這兩項(xiàng)關(guān)鍵的開源技術(shù),并做出自己的貢獻(xiàn)。 借助 Ray,我們使用數(shù)據(jù)科學(xué)家友好的 Python API 實(shí)現(xiàn)了可擴(kuò)展的數(shù)據(jù)預(yù)處理(例如使用仇恨、濫用和褻瀆過濾器過濾數(shù)據(jù))和后處理步驟(例如模型微調(diào)和驗(yàn)證)。 通過運(yùn)行Ray with MCAD,我們支持通過并發(fā)運(yùn)行的異構(gòu) Ray 作業(yè)高效共享資源池。

我們正與 PyTorch 合作推進(jìn)對(duì)分布式訓(xùn)練的支持,包括通過引入 rate_limiter 來改進(jìn)對(duì)完全分片數(shù)據(jù)并行 (FSDP) 訓(xùn)練 API 的支持。 我們最近展演示了在基于以太網(wǎng)的環(huán)境(如 IBM Cloud 中的 Vela)上為參數(shù)為10B+ 的模型高效擴(kuò)展分布式訓(xùn)練作業(yè)。 此外,通過集成MCAD 與 TorchX(TorchX 是 PyTorch 應(yīng)用的通用作業(yè)啟動(dòng)器),我們能夠使用不同 API 和框架以透明方式支持多種基于 PyTorch 的作業(yè)。 這些工作都受底層工作管理系統(tǒng)的支持,無需 AI 從業(yè)者修改代碼。

簡(jiǎn)化用戶體驗(yàn)

工作流程本身的訓(xùn)練分為以下三個(gè)步驟:模型探索(通常是使用一些 GPU 運(yùn)行的縮小試驗(yàn))、擴(kuò)展分布式訓(xùn)練作業(yè)(消耗數(shù)百個(gè) GPU)以及模型驗(yàn)證。 對(duì)于許多 AI 從業(yè)者來說,編排這些步驟可能很復(fù)雜,而且配置和管理的時(shí)間長(zhǎng)。 我們通過CodeFlare項(xiàng)目解決了這一挑戰(zhàn),它能夠提供引導(dǎo)式、簡(jiǎn)化的用戶體驗(yàn),以有效地提高訓(xùn)練、測(cè)試和監(jiān)控模型訓(xùn)練生命周期的效率。

CodeFlare CLI(基于控制臺(tái)和 UI)指導(dǎo)用戶應(yīng)對(duì)復(fù)雜的遠(yuǎn)程 OpenShift 集群運(yùn)行,同時(shí)自動(dòng)執(zhí)行作業(yè)配置、存儲(chǔ)設(shè)置、日志記錄以及管理用于監(jiān)控和分析的端點(diǎn)。CodeFlare SDK(基于 Jupyter)為用戶提供直觀的 Python 界面,進(jìn)行批處理資源請(qǐng)求處理、作業(yè)提交和觀察。 借助這些功能,我們大大降低了 AI 研究同事進(jìn)入云原生堆棧的門檻。

在 Vela 上運(yùn)行我們的軟件棧

到2022年底,IBM 的所有基礎(chǔ)模型訓(xùn)練工作都過渡到在 IBM Cloud 的 Vela 上運(yùn)行此軟件棧。 如今,MCAD 管理這些 AI 作業(yè)的隊(duì)列,從單 GPU 作業(yè)到利用超過512個(gè) GPU 的作業(yè),并處理作業(yè)優(yōu)先級(jí)和配額管理。 我們?cè)谶^程中發(fā)現(xiàn)了其他方法,可以讓團(tuán)隊(duì)在以 GPU 為中心的環(huán)境中(如 Vela)中管理 OpenShift 集群更輕松,例如,通過增強(qiáng) OpenShift Installer 配置基礎(chǔ)架構(gòu) (IPI),以便更輕松地在高性能基礎(chǔ)架構(gòu)上部署和管理 OpenShift。

我們的基礎(chǔ)模型調(diào)優(yōu)和服務(wù)方法

訓(xùn)練和驗(yàn)證最先進(jìn)的基礎(chǔ)模型是 AI 價(jià)值鏈的關(guān)鍵早期階段,但當(dāng)模型在 AI 工作流程的調(diào)優(yōu)和推理步驟中投入生產(chǎn)使用時(shí),最終會(huì)捕獲真正的價(jià)值。 我們用于推理和模型調(diào)優(yōu)的軟件棧主要是在底層硬件上高效執(zhí)行模型,以最佳方式批處理傳入的請(qǐng)求,簡(jiǎn)化 AI 與應(yīng)用的集成,并提供最先進(jìn)的模型適應(yīng)技術(shù)。 上圖1的右側(cè)介紹了我們的基礎(chǔ)模型調(diào)優(yōu)和服務(wù)棧,以下是更為詳細(xì)的描述。

推理性能

用于優(yōu)化基礎(chǔ)模型在給定硬件平臺(tái)上運(yùn)行方式的軟件庫(kù)可以將吞吐量和延遲提高10-100倍。 我們的服務(wù)軟件棧中有一組精心設(shè)計(jì)的成熟優(yōu)化路徑(包括 ONNX 和 Hugging Face Optimum),用于推理常見模型架構(gòu),并且可擴(kuò)展,以能夠適應(yīng)新的推理服務(wù)器或優(yōu)化。 考慮到 AI 和開源社區(qū)的快速創(chuàng)新步伐,可擴(kuò)展性是我們軟件棧的關(guān)鍵設(shè)計(jì)點(diǎn)。 此外,真正的 AI 服務(wù)會(huì)同時(shí)收到來自多個(gè)用戶的、針對(duì)多個(gè)模型的大量推理請(qǐng)求。 我們的服務(wù)堆棧動(dòng)態(tài)批處理傳入的請(qǐng)求,并通過構(gòu)建和反饋 Hugging Face、Kserve 和 Model Mesh 社區(qū),有效地在模型之間進(jìn)行多路復(fù)用。

簡(jiǎn)化應(yīng)用程序集成

目前可用于運(yùn)行 AI 模型的推理服務(wù)器需要用戶具備大量的 AI 專業(yè)知識(shí)。 模型的輸入和輸出都是張量。 對(duì)于希望利用這些模型完成任務(wù)的應(yīng)用開發(fā)人員來說,這種格式并不易于理解。 為了使此過程對(duì)開發(fā)人員更加友好,必須將模型輸出轉(zhuǎn)換為更易于使用的內(nèi)容。 我們創(chuàng)建了 Caikit 抽象層,可為應(yīng)用開發(fā)人員提供直觀的 API 和數(shù)據(jù)模型,并提供一個(gè)穩(wěn)定的接口,支持模型和應(yīng)用獨(dú)立發(fā)展。 這一抽象層在 IBM 的 Watson 模型中使用,用于提供基礎(chǔ)架構(gòu),并將很快貢獻(xiàn)給開源很快將作為開源項(xiàng)目提供。

基礎(chǔ)模型調(diào)優(yōu)整

基礎(chǔ)模型的關(guān)鍵價(jià)值主張之一是能夠利用預(yù)訓(xùn)練的基礎(chǔ)模型,并使用專用數(shù)據(jù)“調(diào)優(yōu)整”或“適應(yīng)”,以提高其下游任務(wù)的性能。 我們的目標(biāo)是打包最先進(jìn)的技術(shù),以實(shí)現(xiàn)計(jì)算效率高的模型自適應(yīng),讓不甚了解其工作原理的人也能夠使用。 我們的可擴(kuò)展堆棧目前支持多任務(wù)提示調(diào)優(yōu) (MPT) 和微調(diào),通過開源項(xiàng)目參數(shù)高效微調(diào) (PEFT) 集成。 在接下來的幾個(gè)月里,我們將開源一些提示調(diào)優(yōu)算法和實(shí)現(xiàn)。

和 Red Hat合作

IBM 研究院正在與 Red Hat 合作,我們將開發(fā)的功能貢獻(xiàn)給主要開源社區(qū),直接發(fā)布在Open Data Hub(ODH),讓其他人也從這項(xiàng)工作中受益。 ODH 是一個(gè)全面的開源工具集合,旨在利用 OpenShift 的優(yōu)勢(shì)來推動(dòng)整個(gè) AI 開發(fā)生命周期。 Open Data Hub 中引入的許多技術(shù)已發(fā)展成為 Red Hat OpenShift AI 的一部分,并作為 watsonx.ai 的中間件基礎(chǔ)提供服務(wù)。 圖2顯示了本博客中描述的對(duì)各種開源貢獻(xiàn)將如何匯集到 ODH 中以支持基礎(chǔ)模型用例。

圖2:云原生 AI 軟件對(duì) Open Data Hub 和其他社區(qū)的貢獻(xiàn)

后續(xù)工作

面向基礎(chǔ)模型時(shí)代重構(gòu)我們的端到端軟件棧對(duì)我們的 AI 社區(qū)具有相當(dāng)大的價(jià)值。 AI 研究人員不再需要非常深入的基礎(chǔ)架構(gòu)知識(shí),就可以讓作業(yè)高性能運(yùn)行。 他們不再需要弄清楚如何將作業(yè)從幾個(gè) GPU 擴(kuò)展到數(shù)百個(gè),或者如何精確地分配作業(yè)以實(shí)現(xiàn)高工作負(fù)載性能,現(xiàn)在這些任務(wù)都可以交給軟件棧處理。 代碼可以跨團(tuán)隊(duì)得到重新使用,試驗(yàn)也易于重現(xiàn)復(fù)制。 我們還大幅簡(jiǎn)化了 AI 開發(fā)人員如何以高計(jì)算效率和開發(fā)人員友好的方式提供和調(diào)整基礎(chǔ)模型的方式。

或許最重要的是最重要的一點(diǎn)可以說是,在 OpenShift 上構(gòu)建此堆棧提供了對(duì)其他環(huán)境的可移植性,讓合作伙伴可以在本地和任何公有云中使用這些功能。 我們很高興與紅帽一起通過開放數(shù)據(jù)中心將這些創(chuàng)新引入開源社區(qū)我們很高興與 Red Hat 開展合作,我們通過 Open Data Hub 將這些創(chuàng)新內(nèi)容引入開源社區(qū),在 Kubernetes 上推進(jìn) AI 工作流程方面的最新技術(shù),并為在 Red Hat OpenShift AI 和 watsonx.ai 中使用這些創(chuàng)新內(nèi)容奠定了基礎(chǔ)。 通過這種方法,我們?yōu)榛A(chǔ)模型的端到端生命周期啟用了一個(gè)企業(yè)級(jí)平臺(tái)。 我們期待與您在上游社區(qū)進(jìn)行合協(xié)作。

編 輯:章芳
聲明:刊載本文目的在于傳播更多行業(yè)信息,本站只提供參考并不構(gòu)成任何投資及應(yīng)用建議。如網(wǎng)站內(nèi)容涉及作品版權(quán)和其它問題,請(qǐng)?jiān)?0日內(nèi)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除內(nèi)容。本站聯(lián)系電話為86-010-87765777,郵件后綴為#cctime.com,冒充本站員工以任何其他聯(lián)系方式,進(jìn)行的“內(nèi)容核實(shí)”、“商務(wù)聯(lián)系”等行為,均不能代表本站。本站擁有對(duì)此聲明的最終解釋權(quán)。
相關(guān)新聞              
 
人物
工信部張?jiān)泼鳎捍蟛糠謬?guó)家新劃分了中頻段6G頻譜資源
精彩專題
專題丨“汛”速出動(dòng) 共筑信息保障堤壩
2023MWC上海世界移動(dòng)通信大會(huì)
中國(guó)5G商用四周年
2023年中國(guó)國(guó)際信息通信展覽會(huì)
CCTIME推薦
關(guān)于我們 | 廣告報(bào)價(jià) | 聯(lián)系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網(wǎng) CopyRight © 2007-2024 By CCTIME.COM
京ICP備08004280號(hào)-1  電信與信息服務(wù)業(yè)務(wù)經(jīng)營(yíng)許可證080234號(hào) 京公網(wǎng)安備110105000771號(hào)
公司名稱: 北京飛象互動(dòng)文化傳媒有限公司
未經(jīng)書面許可,禁止轉(zhuǎn)載、摘編、復(fù)制、鏡像