12 月 7 日,知乎聯(lián)合 DataFun 舉辦主題為《大模型應用工程化實踐:從實驗室到千萬級用戶產(chǎn)品》的技術沙龍。知乎 AI 算法負責人王界武、機器學習平臺負責人王新、百川智能大語言模型資深算法專家王宇龍以及“提示詞布道師”李繼剛帶來大模型相關的專業(yè)分享和深度交流,吸引來自 15 個行業(yè)、130 家企業(yè)參會者到場。知乎 CTO 孫斌在現(xiàn)場宣布,知乎自研的輕量高效大模型推理框架 ZhiLight 正式開源。
知乎直答與推理框架 ZhiLight:知乎加速大模型工程化實踐
2024 年知乎持續(xù)推進大模型工程化實踐,于 6 月、10 月相繼推出知乎直答及其專業(yè)搜索功能,聚焦專業(yè)人士的生產(chǎn)力場景,更是將 AI 搜索推進到更具專業(yè)、實用性的深度搜索能力拓展階段。
(知乎 AI 算法負責人王界武)
在技術沙龍上,知乎 AI 算法負責人王界武詳細介紹了知乎直答從 0 到 1 的搭建過程,并重點分享了技術方案選型和「踩坑」經(jīng)歷。據(jù)介紹,知乎直答團隊在構建AI問答系統(tǒng)時,對比了兩種技術路線:LLM 持續(xù) pretrain+posttrain 以及檢索增強生成(RAG)方案,最終后者在成本、時效性、準確性、可擴展性等多維度勝出。當用戶提問時,RAG 系統(tǒng)先從知識庫檢索相關信息作為上下文,再由大語言模型生成回答。團隊通過在 Query 理解、召回、大模型生成等多個環(huán)節(jié)深入優(yōu)化,顯著降低了 AI 的幻覺問題,使得答案具備更高的準確性和權威度。
在專業(yè)搜索功能側,知乎直答團隊使用了多種前沿技術。不僅實現(xiàn)了多智能體的協(xié)同工作,支持信息查詢、內(nèi)容分析、數(shù)學計算等多種功能,還結合大語言模型強大的推理能力,對用戶的上下文和提問進行深入分析,從多角度、多層次召回多樣且高質量的內(nèi)容。此外,知乎直答專業(yè)搜索還在思維鏈提示詞工程、智能文檔解析、動態(tài)資源調度等多個技術模塊實現(xiàn)突破。
王界武介紹,下一步,知乎直答團隊計劃將產(chǎn)品與社區(qū)深度融合,滿足更多場景下用戶找答案的需求,在準確性、時效性、交互模式等領域實現(xiàn)更多升級。同時將進一步提升模型的推理能力,使知乎直答具備更強的解決復雜問題能力和使用體驗。
除了知乎直答,知乎自研的大模型推理框架 ZhiLight 也在本次活動上正式亮相。知乎機器學習平臺負責人王新介紹,知乎在多種型號的英偉達設備上部署了大量的大模型推理服務,優(yōu)秀的開源項目 vLLM、SGLang 廣泛應用于知乎內(nèi)部。
(知乎機器學習平臺負責人王新)
與此同時,知乎也在探索更低成本、更具可擴展性的自研推理框架方案。2023 年開始,知乎與面壁智能合作開發(fā)知海圖大模型以及一系列大模型訓練與推理工程架構。其中 ZhiLight 的設計目標是可以快速部署與實踐 LLaMa-like 模型。
(ZhiLight 卡間通訊優(yōu)化效果)
據(jù)介紹,ZhiLight 目前兼容 OpenAI chat/completions 接口,監(jiān)控指標上與 vLLM metrics對齊,便于日常使用及以及與 vLLM 等開源引擎的性能與穩(wěn)定性對比。ZhiLight 的優(yōu)化側重于 PCIe 卡間通訊優(yōu)化、內(nèi)存管理以及并發(fā)請求管理優(yōu)化,同時還集成了 FlashAttention、Marlin、TensorRT、exllama 等開源項目。其中,ZhiLight 通過計算與通訊 overlap 、以及低精度通訊等手段,單層 Transformer 計算時間降低了 40% 以上。
(ZhiLight 引擎的性能表現(xiàn))
如上圖,模型規(guī)模達到 70B 時,多卡推理受卡間通訊影響愈加明顯,ZhiLight 在 TTFT 指標上要明顯優(yōu)于目前主流的開源推理引擎,并且在 110B 規(guī)模情況下 ZhiLight 的優(yōu)勢進一步擴大。
(知乎 CTO 孫斌)
最后,知乎 CTO 孫斌在現(xiàn)場宣布,ZhiLight 已經(jīng)正式開源(https://github.com/zhihu/ZhiLight)。未來,知乎希望與科技行業(yè)、技術從業(yè)者一起共建開源開放的交流社區(qū),并推動前沿技術討論從知乎線上延伸到線下。
Agent、AGI、Prompt……大模型技術前瞻與暢想
從 Agent 到 AGI 我們還有多遠?百川智能大語言模型資深算法專家王宇龍從一個探索 Agent 極限實驗開始,詳細介紹了為什么要構建 Agent。
(百川智能大語言模型資深算法專家王宇龍)
在他看來,基于 LLM 驅動的智能體相較于傳統(tǒng) Agent,利用了大型語言模型(LLM)的強大能力,徹底改變了智能體的工作方式。這類智能體不僅僅是完成單一任務的工具,它們能夠在各種不同的任務之間切換,并且通過理解自然語言來解決問題,其核心能力可以被分解為:規(guī)劃、記憶、工具使用。
王宇龍還介紹,當前 Agent 面臨的主要問題:缺乏理論指導、架構百花齊放、思路千奇百怪、效果參差不齊,并進一步介紹了 Agent 和 LLM 的底層細節(jié)。
王宇龍認為,科學之所以可能,是因為存在一些可計算簡化的區(qū)域,這些區(qū)域即使在普遍的不可計算簡化之中也允許規(guī)律和預測的存在。人工智能有可能以新的方式發(fā)現(xiàn)并利用這些簡化的區(qū)域。AI非常適合通過捕捉數(shù)據(jù)中的規(guī)律來做出近似、「大致正確」的預測,這與人類思維的方式相似。但是它在進行精確、詳細的預測時會遇到困難,特別是在面對計算不可約性的時候。
Prompt是什么?「提示詞布道師」李繼剛在本次交流會分享了關于Prompt的道與術。他提出「Prompt = 表達」,而「表達 = 本意+文意+解意」,并進一步闡述了「本意 = 經(jīng)驗+詞匯+知識」的概念,以及大模型與 Prompt 的關系:模型效果 =LLM*(Task+Promt)。
(「提示詞布道師」李繼剛)
李繼剛在會上分享了大量 Prompt 實戰(zhàn)經(jīng)驗。他認為,去年 Prompt 的關鍵詞是從短到長,今年的關鍵詞則是從長到短,但最本質的,還是要與大模型實現(xiàn)「共振」。ChatGPT 興起時,他和很多人一樣,給大模型寫很長的 Prompt,但今年開始,他更習慣把 Prompt 壓縮成一個詞來開啟大模型的解壓過程。在他看來,用最清晰、簡潔的表達,指向核心本質,才是切中肯綮的最優(yōu)解。
李繼剛認為,Prompt 工程師應該具備人文和技術兩項基本素質,既要能寫編程,要有理性數(shù)學的思維,又要會寫作,有感性表達的思維。
(知乎智能算法部負責人張亞峰)
此次大模型技術沙龍由知乎發(fā)起,聯(lián)合 Datafun 舉辦,同時也是知乎系列技術沙龍的第一場。知乎智能算法部負責人張亞峰表示,每天都有大量行業(yè)內(nèi)對大模型感興趣的朋友們在知乎討論新技術和應用經(jīng)驗,我們會繼續(xù)把這些高質量的討論延伸到線下,組織一系列類似的高質量活動,未來知乎將進一步加強與科技行業(yè)、技術從業(yè)者的交流聯(lián)動,為互聯(lián)網(wǎng)行業(yè)前沿技術研發(fā)和應用貢獻力量。
