OpenAI 最新研究論文確切地診斷為什么 ChatGPT 和其他大型語言模型可以編造東西——在世界上眾所周知人工智能作為“幻覺”。它還揭示了為什么這個問題可能無法解決，至少就消費者而言是這樣。

該論文提供了迄今為止最嚴格的數學解釋，解釋了為什么這些模型自信地陳述了錯誤。它表明，這些不僅僅是人工智能目前訓練方式的不幸副作用，而且在數學上是不可避免的。

這個問題的部分原因是用于訓練人工智能的基礎數據中的錯誤。但通過對人工智能系統(tǒng)如何學習的數學分析，研究人員證明，即使有完美的訓練數據，問題仍然存在。

相關：如果人工智能只是一個“文字計算器”，為什么它會讓人感覺如此人性化？

語言模型響應查詢的方式——根據概率一次預測句子中的一個單詞——自然會產生錯誤。事實上，研究人員表明，生成句子的總錯誤率至少是同一人工智能在一個簡單的是/否問題上的錯誤率的兩倍，因為錯誤會在多次預測中累積。

換句話說，幻覺率從根本上取決于人工智能系統(tǒng)區(qū)分有效和無效反應的能力。由于這種分類問題對于許多知識領域來說本質上是困難的，因此幻覺變得不可避免。

事實證明，模型在訓練過程中看到的事實越少，當被問及該事實時，它就越有可能產生幻覺。例如，對于著名人物的生日，研究發(fā)現，如果 20% 的人的生日在訓練數據中只出現一次，那么基本模型應該至少會出錯 20% 的生日查詢。

果不其然，當研究人員向最先進的模型詢問該論文作者之一亞當·卡萊 （Adam Kalai） 的生日時，DeepSeek-V3 自信地在不同的嘗試中提供了三個不同的錯誤日期：“03-07”、“15-06”和“01-01”。

正確的日期是在秋天，所以這些都不接近。

評估陷阱

更令人不安的是，該論文分析了為什么盡管進行了訓練后努力，但幻覺仍然存在（例如在人工智能向公眾發(fā)布之前對人工智能的反應提供廣泛的人類反饋）。

作者研究了十個主要的人工智能基準測試，包括谷歌、OpenAI 使用的基準測試以及對人工智能模型進行排名的頂級排行榜。這表明，九個基準測試使用二進制評分系統(tǒng)，對表達不確定性的人工智能給予零分。

這創(chuàng)造了作者所說的”流行“懲罰誠實的回應。當人工智能系統(tǒng)說“我不知道”時，它會收到與提供完全錯誤信息相同的分數。

這種評估下的最佳策略變得很清楚：總是猜測。

研究人員用數學證明了這一點。無論特定答案正確的幾率如何，當評估使用二元評分時，猜測的預期分數總是超過棄權分數。

打破一切的解決方案

OpenAI 提出的解決方法是讓人工智能在發(fā)布答案之前考慮自己對答案的信心，并讓基準測試在此基礎上對其進行評分。

然后可以提示人工智能，例如：“只有當你的信心超過 75% 時才回答，因為錯誤會被罰 3 分，而正確答案會被罰 1 分。

OpenAI 研究人員的數學框架表明，在適當的置信閾值下，人工智能系統(tǒng)會自然地表達不確定性而不是猜測。所以這將導致更少的幻覺。問題是它會對用戶體驗產生什么影響。

考慮一下如果 ChatGPT 開始對 30% 的查詢說“我不知道”，這會產生什么影響——這是基于該論文對訓練數據中事實不確定性的分析的保守估計。習慣于對幾乎任何問題獲得自信答案的用戶可能會很快放棄此類系統(tǒng)。

我在生活的另一個領域也看到了這種問題。我參與了猶他州鹽湖城的一個空氣質量監(jiān)測項目。

當系統(tǒng)在惡劣天氣條件下或設備校準時標記測量的不確定性時，與顯示可靠讀數的顯示器相比，用戶參與度較低，即使這些可靠讀數在驗證過程中被證明不準確。

計算經濟學問題

利用該論文的見解減少幻覺并不難。量化不確定性的既定方法有存在為幾十 年.

這些可用于提供可靠的不確定性估計，并指導人工智能做出更明智的選擇。

但即使可以克服用戶不喜歡這種不確定性的問題，還有一個更大的障礙：計算經濟學。

與當今的方法相比，不確定性感知語言模型需要更多的計算，因為它們必須評估多種可能的響應并估計置信度。對于每天處理數百萬個查詢的系統(tǒng)來說，這意味著運營成本會大幅增加。

更復雜的方法就像主動學習一樣，人工智能系統(tǒng)提出澄清問題以減少不確定性，可以提高準確性，但會進一步增加計算需求。

這些方法在芯片設計等專業(yè)領域效果很好，在這些領域，錯誤的答案會花費數百萬美元，并且需要進行大量計算。對于用戶期望即時響應的消費者應用程序，經濟性變得令人望而卻步。

對于管理關鍵業(yè)務運營或經濟基礎設施的人工智能系統(tǒng)來說，計算發(fā)生了巨大變化。當人工智能代理處理供應鏈物流、金融交易或醫(yī)療診斷時，幻覺的成本遠遠超過讓模型確定它們是否過于不確定的費用。

在這些領域，該論文提出的解決方案在經濟上變得可行——甚至是必要的。不確定的人工智能代理只需要花費更多。

然而，消費者應用仍然主導著人工智能開發(fā)的優(yōu)先事項。用戶希望系統(tǒng)能夠為任何問題提供自信的答案。評估基準獎勵猜測而不是表達不確定性的系統(tǒng)。計算成本有利于快速、過度自信的響應，而不是緩慢、不確定的響應。

每個代幣的能源成本下降和芯片架構的進步最終可能會讓人工智能決定他們是否有足夠的把握回答問題變得更加實惠。但是，與今天的猜測相比，所需的計算量相對較高，無論絕對硬件成本如何，都會保留下來。

簡而言之，OpenAI 的論文無意中強調了一個令人不安的事實：推動消費者人工智能發(fā)展的商業(yè)激勵措施仍然與減少幻覺從根本上不一致。

在這些激勵措施改變之前，幻覺將持續(xù)存在。

魏興， 數學與物理科學學院助理教授，謝菲爾德大學

本文轉載自對話根據知識共享許可。閱讀原文.

寶寶起名 起名