現(xiàn)在國產(chǎn)大模型“百家爭鳴”的熱鬧氛圍讓我想起了團(tuán)購網(wǎng)站“千團(tuán)大戰(zhàn)”的時候，互聯(lián)網(wǎng)贏家通吃的現(xiàn)實催促著所有人全力沖刺。

國內(nèi)很多公司開發(fā)的大模型都在拿GPT3.5或者4對標(biāo)，宣稱在某些方面“不落下風(fēng)”，有的號稱在參數(shù)更少的情況下性能相當(dāng)，有的甚至宣稱“全面領(lǐng)先”。這些模型是如何實現(xiàn)這些所謂的領(lǐng)先呢？

簡而言之，這多半是過擬合現(xiàn)象導(dǎo)致的。所謂過擬合，是機器學(xué)習(xí)和統(tǒng)計建模中的一個常見問題，簡單來說，就是在測試中表現(xiàn)出色，而在實際應(yīng)用中卻不盡如人意。

因此，在評估大模型能力時，我們不應(yīng)過分關(guān)注這些測試集的得分。實際上，過度擬合在生活中的例子比比皆是，如大學(xué)排名的刷分、自媒體的刷流量等。真正優(yōu)秀的模型應(yīng)當(dāng)是在公開市場競爭中，人們愿意為其支付額外費用的模型。其他任何補充說明都是多余的。

大浪淘沙，接下來的大模型“淘汰賽”正在進(jìn)行中，“鹿死誰手”，還得看核心本事。