人工智能對科學實驗風險認知不足-新華網
新華網 > > 正文
2026 01/26 15:53:36
來源:參考消息網

人工智能對科學實驗風險認知不足

字體:

  參考消息網1月24日報道 西班牙《趣味》月刊網站1月15日刊登題為《人工智能設計科學實驗失敗:一個模型建議混合爆炸性化學品,另一個模型不知道如何處理酸灼傷》的文章,作者為克裏斯蒂安·佩雷斯,內容編譯如下:

  人工智能在科研領域被寄予厚望,相關應用的前景看似無限廣闊。每個月都有新的應用案例涌現,似乎這些模型有望徹底革新從太空探索到醫學診斷的諸多領域。

  然而,近期的一項研究卻發出了嚴厲警示。研究認為,若完全依賴人工智能設計實驗室實驗,可能會釀成實實在在的災難。

  一個國際研究團隊開發了名為“實驗室安全測試基準”的評估工具,旨在檢驗全球頂尖人工智能模型對實驗室環境中基礎風險與隱患的識別能力。測試結果既具 啟發意義,又令人憂心忡忡:即便是在可能危及生命的實驗場景中,參與評估的19個人工智能模型的準確率均未超過70%。

  該測試設計了750余道選擇題和近400個真實的實驗室視覺場景,其中大量場景都暗藏風險。研究的目標是檢驗人工智能是否能識別並規避這些風險。部分模型的表現相對較好,例如GPT-4o在文字類題目中的正確率接近87%;但也有些模型正確率僅略高於隨機猜測的水平。而在圖像類測試中,各模型的表現則更為糟糕,有多個模型的正確率甚至不足30%。

  真正令人警惕的,是這些模型所犯錯誤的類型。它們會建議混合不相容的化學物質、忽略基礎防護措施或是在危險條件下開展實驗操作。這類建議一旦被缺乏經驗的實驗人員採納,極易引發實驗室事故。

  研究團隊中的一位科研人員分享了一個簡單卻極具代表性的案例。當被問及“濃硫酸濺到皮膚上該如何處理”時,某個人工智能模型竟建議不要用水沖洗。在真實的實驗室中,這類錯誤建議可能造成嚴重的人身傷害。

  該研究引發了自主智能無人系統實驗室開發領域研究者的高度擔憂。這是一種由機器人與人工智能系統主導、無需人類直接監督即可開展實驗的場景。儘管這種模式在提升實驗效率方面頗具吸引力,但該研究明確指出,距離實現真正安全的自主實驗操作,當前的人工智能仍有很長的路要走。

  參與評估的人工智能模型儘管已十分複雜精密,但它們對現實世界中的實際風險仍缺乏深度認知。這些模型的訓練目標是生成邏輯連貫的文本,而非預判化學反應的潛在危險、解讀安全規範細則或通過圖像分析判斷實驗室是否具備開展實驗的條件。

  這項研究最令人不安的發現之一是,即便給出的答案是錯誤的,人工智能往往也會表現出極高的自信度。這就製造了一種危險的能力錯覺,尤其在人工智能的權威性未受質疑或是使用者對相關領域缺乏了解的情況下,其誤導性會更強。

  這種現象的危害性是雙重的。一方面,人類在面對看似“智能”的技術時,往往會過度信任;另一方面,已有研究表明,人類在與人工智能互動的過程中,容易放鬆警惕,不再積極主動地對其決策進行監督。

  儘管研究結果並不樂觀,但科研人員並未持悲觀態度。相反,他們認為人工智能在科研領域的未來前景光明,前提是將其定位為輔助工具,而非做出人類判斷的替代者。

  研究專家指出,未來的發展方向應當是對人工智能模型開展專業領域知識的訓練,更重要的是,要建立多層級的人工驗證與監管機制。人工智能的發展目標絕非取代科研人員,而是增強科研人員的研究能力。

  人工智能的迭代速度十分驚人。如今看來嚴重的缺陷,或許半年後就能得到修正。各大科技巨頭已相繼發布具備更強科研能力的新一代人工智能模型,預計這些模型將很快在多項現有測試中取得突破。

  即便如此,這項研究的警示依然振聾發聵:無論人工智能變得多麼先進,在涉及生命安全的場景中,人類的監督始終不可替代。(編譯/張微雨)

【糾錯】 【責任編輯:郭曉婷】