一名中國(guó)AI模型在國(guó)際數(shù)學(xué)奧林匹克競(jìng)賽中奪得金牌，成績(jī)超過99%的人類選手。另一款衍生版本在同一時(shí)間，于智能體工具調(diào)用測(cè)試中登頂開源榜首。這不是科幻小說，而是DeepSeek在2025年12月1日發(fā)布的現(xiàn)實(shí)。V3.2與V3.2-Speciale雙模型齊發(fā)，前者面向大眾開放，后者專供研究評(píng)測(cè)。官方宣稱：未針對(duì)測(cè)試集特殊訓(xùn)練，泛化能力卓越。掌聲尚未落定，質(zhì)疑已在暗處滋生——我們究竟見證了一場(chǎng)技術(shù)飛躍，還是一次精心包裝的“應(yīng)試勝利”？
這場(chǎng)發(fā)布的真正分量，不在于分?jǐn)?shù)多高，而在于它再次撕開了AI評(píng)測(cè)體系的潰爛傷口。當(dāng)模型能在IMO、CMO、AgentBench等主流基準(zhǔn)上斬獲高分，我們默認(rèn)這是“智能”的證明。但越來越多證據(jù)表明，這些榜單更像是一張張可被破解的考卷。牛津大學(xué)研究指出，GSM8K等數(shù)學(xué)測(cè)試中的“推理能力”，常被模型通過模式匹配與統(tǒng)計(jì)關(guān)聯(lián)繞過，如同學(xué)生死記答案卻不懂公式推導(dǎo)。SWE-Bench的單元測(cè)試可被針對(duì)性優(yōu)化，WebArena依賴字符串匹配打分，甚至一個(gè)“什么都不做”的智能體在τ-bench中也能騙到38%的正確率。評(píng)測(cè)本身已失真，分?jǐn)?shù)自然難保純度。
DeepSeek強(qiáng)調(diào)“未特殊訓(xùn)練”，意在劃清與過擬合的界限。其技術(shù)路徑也確有支撐：通過85,000條合成的“難解答、易驗(yàn)證”任務(wù)進(jìn)行強(qiáng)化學(xué)習(xí)，目標(biāo)正是提升真實(shí)場(chǎng)景泛化力。V3.2成為首個(gè)將“思考過程”嵌入工具調(diào)用的開源模型，意味著它能在調(diào)用API前自主規(guī)劃，而非機(jī)械匹配指令。這些設(shè)計(jì)邏輯上利于泛化，但關(guān)鍵問題仍在：獨(dú)立驗(yàn)證何在？目前所有高分?jǐn)?shù)據(jù)均來自官方發(fā)布。Hugging Face與GitHub上雖有V3的開源代碼，但V3.2-Speciale僅以API形式限供研究，權(quán)重未開源，第三方無法復(fù)現(xiàn)其IMO表現(xiàn)。此前V3版本曾在“誤導(dǎo)性注意力”測(cè)試中暴露出對(duì)題干微調(diào)的脆弱性，新版本是否根治，尚無社區(qū)對(duì)抗測(cè)試佐證。
評(píng)測(cè)的危機(jī)，本質(zhì)是信任的危機(jī)。當(dāng)工業(yè)界爭(zhēng)相用高分榜單為模型背書，學(xué)術(shù)界卻在呼吁“評(píng)估效度革命”——斯坦福、普林斯頓等機(jī)構(gòu)提出43項(xiàng)基準(zhǔn)檢查標(biāo)準(zhǔn)，直指當(dāng)前測(cè)試“構(gòu)念效度”缺失：測(cè)的不是能力，而是漏洞利用效率。DeepSeek若真未過擬合，本應(yīng)主動(dòng)邀請(qǐng)社區(qū)審計(jì)，發(fā)布對(duì)抗性測(cè)試集結(jié)果，甚至開源Speciale權(quán)重以證清白。技術(shù)的進(jìn)步，不該靠單方面聲明來背書，而應(yīng)經(jīng)得起證偽的考驗(yàn)。
真正的智能，從不在排行榜上，而在未知任務(wù)前的從容應(yīng)對(duì)。我們期待的AI，不是考場(chǎng)高手，而是能在混亂現(xiàn)實(shí)中自主拆解問題的伙伴。若評(píng)測(cè)體系繼續(xù)沉溺于可被游戲的分?jǐn)?shù)，所有“突破”都不過是鏡花水月。技術(shù)的尊嚴(yán)，不在于宣稱多強(qiáng)，而在于敢于被檢驗(yàn)。
全部評(píng)論 （0）