大模型基準測試體系研究報告（2024年） -方升大模型基準測試體系

近幾年，大模型推動人工智能技術迅猛發展，J大地拓展了機器 智能的邊界，展現出通用人工智能的“曙光”。如何準確、客觀、全 面衡量當前大模型能力，成為產學研用各界關注的重要問題。設計合 理的任務、數據集和指標，對大模型進行基準測試，是定量評價大模 型技術水平的主要方式。大模型基準測試不僅可以評估當前技術水平， 指引未來學術研究，牽引產品研發、支撐行業應用，還可以輔助監管 治理，也有利于增進社會公眾對人工智能的正確認知，是促進人工智 能技術產業發展的重要抓手。主要學術機構和頭部企業都十分重 視大模型基準測試，陸續發布了一系列評測數據集、框架和結果榜單， 對于推動大模型技術發展產生了積J作用。然而，隨著大模型能力不 斷增強和行業賦能逐漸深入，大模型基準測試體系還需要與時俱進， 不斷完善。

本研究報告首先回顧了大模型基準測試的發展現狀，對已發布的 主要大模型評測數據集、體系和方法進行了梳理，分析了當前基準測試存在的問題和挑戰，提出了一套系統化構建大模型基準測試的框架 —— “方升”大模型基準測試體系，介紹了基于“方升”體系初步開 展的大模型評測情況，并對未來大模型基準測試的發展趨勢進行展望。 面向未來，大模型基準測試仍存在諸多開放性的問題，還需要產學研 各界緊密合作，共同建設大模型基準測試標準，為大模型行業健康有 序發展提供有力支撐

人工智能技術發展迅速，大模型、RAG、AGENT、 具身智能、 AGI等新概念和新技術層出不窮。大模型基準測試作為研究較為深入 的L域，將帶動其他新技術的研究。當前雖然 AGI 仍未有明確的定 義，但針對 AGI 的探索性評測研究已有初步成果。例如微軟發布論 文《通用人工智能的火花：GPT-4 的早期實驗》,通過數學、編程、 視覺、醫學、法律、心理學等復雜度較G的任務證明GPT-4已經進入 AGI 的早期階段。北京通用人工智能研究院發布《通智測試：通用人 工智能具身物理與社會測試評級系統》,提出一種基于能力和價值維 度的 AGI 的評測方法。中國科學院和美國俄亥俄州立大學等先后推 出AGIBench 和MMMU 評測數據集，從多模態、多學科、多粒度等 維度衡量大模型距離AGI 的差距。雖然當前AGI 的發展仍然處于初 期階段，但通過基準測試的研究，可以為未來 AGI 的發展方向提供 思路，并對AGI 的能力進行監控以指引其正向發展。

附件：大模型基準測試體系研究報告（2024年） -方升大模型基準測試體系