12月23日午間消息，近日，智源研究院發(fā)布國(guó)內(nèi)外100余個(gè)開/閉源語(yǔ)言、視覺語(yǔ)言、文生圖、文生視頻大模型綜合及專項(xiàng)評(píng)測(cè)結(jié)果。評(píng)測(cè)發(fā)現(xiàn)，2024年下半年，大模型發(fā)展更聚焦綜合能力提升與實(shí)際應(yīng)用。多項(xiàng)評(píng)測(cè)結(jié)果中，字節(jié)跳動(dòng)多項(xiàng)AI能力領(lǐng)先，阿里巴巴、百度等大廠派AI均取得優(yōu)異表現(xiàn)。
據(jù)評(píng)測(cè)結(jié)果，針對(duì)一般中文場(chǎng)景的開放式問答或生成任務(wù)，語(yǔ)言模型能力已趨于飽和穩(wěn)定，但是復(fù)雜場(chǎng)景任務(wù)的表現(xiàn)，國(guó)內(nèi)頭部語(yǔ)言模型仍然與國(guó)際一流水平存在顯著差距。在中文能力理解上，字節(jié)跳動(dòng)Doubao-pro-32k-preview、百度ERNIE 4.0 Turbo位居第一、第二，OpenAI o1-preview-2024-09-12、Anthropic Claude-3-5-sonnet-20241022位列第三、第四，阿里巴巴Qwen-Max-0919排名第五。
在視覺語(yǔ)言多模態(tài)模型能力評(píng)測(cè)結(jié)果中，一些較好的開源模型在圖文理解任務(wù)上正在縮小與頭部閉源模型的能力差距，而長(zhǎng)尾視覺知識(shí)與文字識(shí)別以及復(fù)雜圖文數(shù)據(jù)分析能力仍有提升空間。評(píng)測(cè)顯示，OpenAI GPT-4o-2024-11-20與字節(jié)跳動(dòng)Doubao-Pro-Vision-32k-241028先后領(lǐng)先于Anthropic Claude-3-5-sonnet-20241022，阿里巴巴Qwen2-VL-72B-Instruct和Google Gemini-1.5-Pro緊隨其后。
此外，文生圖多模態(tài)模型今年上半年參評(píng)模型普遍無法生成正確的中文文字，但此次參評(píng)的頭部模型已經(jīng)具備中文文字生成能力，但整體普遍存在復(fù)雜場(chǎng)景人物變形的情況，針對(duì)常識(shí)或知識(shí)性推理任務(wù)，小于3的數(shù)量關(guān)系任務(wù)表現(xiàn)有所提升，大于3的數(shù)量關(guān)系依然無法處理。評(píng)測(cè)結(jié)果顯示，騰訊Hunyuan Image位列第一，字節(jié)跳動(dòng)Doubao image v2.1、Ideogram 2.0分居第二、第三，OpenAI DALL·E 3、快手可圖次之。
在文生視頻多模態(tài)模型，畫質(zhì)進(jìn)一步提升，動(dòng)態(tài)性更強(qiáng)，鏡頭語(yǔ)言更豐富，專場(chǎng)更流暢，但普遍存在大幅度動(dòng)作變形，無法理解物理規(guī)律，物體消失、閃現(xiàn)、穿模的情況。評(píng)測(cè)結(jié)果顯示，快手可靈1.5（高品質(zhì)）、字節(jié)跳動(dòng)即夢(mèng)P2.0 pro、愛詩(shī)科技PixVerse V3、MiniMax海螺AI、Pika 1.5位列前五。
據(jù)介紹，本次評(píng)測(cè)依托智源研究院自2023年6月上線的大模型評(píng)測(cè)平臺(tái)FlagEval，經(jīng)過數(shù)次迭代，目前已覆蓋全球800多個(gè)開閉源模型，包含20多種任務(wù)，90多個(gè)評(píng)測(cè)數(shù)據(jù)集，超200萬(wàn)條評(píng)測(cè)題目。（文猛）
