12月19日,智源研究院發(fā)布國內(nèi)外100余個,開源和商業(yè)閉源的大模型綜合及專項(xiàng)評測結(jié)果。“大語言模型評測能力榜單”中,豆包通用模型pro(Doubao-pro-32k-preview),在主觀評測中排名第一。
智源研究院 FlagEval 大語言模型評測能力榜單-主觀評測
“多模態(tài)模型評測榜單”中,豆包·視覺理解模型(Doubao-Pro-Vision-32k-241028)。在視覺語言模型中排名第二,僅次于GPT-4o,是得分最高的國產(chǎn)大模型。
智源研究院 FlagEval 多模態(tài)模型評測榜單-視覺語言模型
“FlagEval大模型角斗場榜單”中,豆包通用模型pro(Doubao-pro-32k-240828)。
在大語言模型榜單中位居第一梯隊(duì),評分排名第二,僅次于OpenAI的o1-mini,是得分最高的國產(chǎn)大模型。
智源研究院 FlagEval 大模型角斗場榜單-大語言模型榜單
據(jù)智源研究院介紹,大模型評測平臺FlagEval目前已覆蓋全球800多個開閉源模型,在評測方法與工具上聯(lián)合了全國10余家高校和機(jī)構(gòu)合作共建。此次公布的榜單中,大語言模型主觀評測重點(diǎn)考察的是模型的中文能力,多模態(tài)模型評測榜單視覺語言模型主要考察的是模型在圖文理解、長尾視覺知識、文字識別以及復(fù)雜圖文數(shù)據(jù)分析能力;FlagEval大模型角斗場則是向用戶開放的模型對戰(zhàn)評測服務(wù),反映了用戶對模型的偏好。
大使用量才能打磨出更好的模型。剛剛結(jié)束的2024火山引擎冬季FORCE原動力大會公布了豆包大模型最新進(jìn)展——豆包大模型12月日均tokens使用量超過4萬億,較5月發(fā)布時(shí)期增長超過33倍,在不同應(yīng)用場景中調(diào)用量快速增長。
使用量和應(yīng)用場景的提升,也讓豆包大模型迎來了全新的升級。其中在“大語言模型評測能力榜單”的主觀評測中排名第一的豆包通用模型pro完成新版本迭代,綜合處理能力較5月發(fā)布時(shí)提升了32%,在推理上提升13%,在指令遵循上提升9%,在代碼上提升58%,在數(shù)學(xué)上提升43%,在專業(yè)知識領(lǐng)域能力提升54%。
在“多模態(tài)模型評測榜單”的視覺語言模型中,得分國內(nèi)最高的豆包·視覺理解模型也在FORCE原動力大會上正式對外發(fā)布。豆包·視覺理解模型可以理解用戶所輸入的文本和圖片相關(guān)的信息,并給出準(zhǔn)確的回答。通過更強(qiáng)的內(nèi)容識別能力、更強(qiáng)的理解和推理能力、更細(xì)膩的視覺描述能力,豆包·視覺理解模型極大地拓寬了大模型場景邊界,基于對真實(shí)世界的信息處理,可以更好的輔助人類完成復(fù)雜的任務(wù)。
豆包·視覺理解模型在教育、旅游、電商等場景有著非常廣泛的應(yīng)用。為了更好地幫助企業(yè)開拓大模型的創(chuàng)新應(yīng)用場景,豆包·視覺理解模型的價(jià)格為每千tokens 0.003元,比行業(yè)平均價(jià)格降低85%,相當(dāng)于一塊錢可以處理284張720P圖片,讓企業(yè)和開發(fā)者用好視覺理解模型,找到更多創(chuàng)新場景。
從能力升級到模態(tài)豐富,火山引擎將持續(xù)拓展豆包大模型的能力邊界及應(yīng)用場景,加速推動AI大模型應(yīng)用的普及與落地,為更多企業(yè)智能化升級提供有力支撐。