ChatGPT、Bing 和 Bard 這樣的人工智能聊天機器人，非常擅長創造看起來像人類寫出來的句子。但它們經常把謊言描述為事實，前后邏輯不一致，而且可能很難被發現。

(資料圖片)

一項新的研究表明，解決這個問題的一個方法是改變人工智能展示信息的方式。讓用戶更積極地參與到聊天機器人生成的內容中，這可能會幫助它們更批判性地思考這些內容。

一個來自麻省理工學院和哥倫比亞大學的研究團隊向大約 200 名參與者展示了一組由 OpenAI 的 GPT-3 生成的陳述，并要求他們確定這些陳述在邏輯上是否有意義。一個典型的陳述包括“電子游戲會讓人們在現實世界中變得具有攻擊性。一名玩家在網絡游戲《反恐精英》中被虐了，然后刺傷了另一名玩家”。

參與者被分為三組。第一組成員看到的陳述根本沒有任何解釋。第二組的每個陳述都配有一個解釋，說明為什么它合乎邏輯或不合乎邏輯。第三組的陳述都配有一個問題，敦促讀者自己檢查邏輯。

研究人員發現，在發現人工智能邏輯不一致上，提出問題的組的得分高于其他兩組。根據在德國漢堡舉行的 CHI（Conference on Human Factors in Computing System）會議上發表的一篇新論文，提出問題的方法也讓人們感到要對人工智能的決策更負責。研究人員表示，這可以降低對人工智能生成信息過度依賴的風險。

如果人們只得到一個現成的答案，他們更有可能遵循人工智能系統的邏輯，但當人工智能提出了一個問題，“人們說，人工智能系統（的做法）讓他們對自己的反應產生了質疑，幫助他們思考更多，”背后的研究人員之一、麻省理工學院的瓦爾德馬爾·丹里（Valdemar Danry）說，“對我們來說，一個重大的勝利是看到人們覺得他們是找到答案的人，他們對正在發生的事情負責。他們有這樣做的能力。”

研究人員希望，他們的方法能夠幫助人們在學校使用人工智能聊天機器人或在線搜索信息時發展批判性思維技能。麻省理工學院的另一位研究員帕特·帕塔拉努塔波恩（Pat Pataranutaporn）說，他們想證明你可以訓練一個模型，它不僅能提供答案，還能幫助他們運用自己的批判性思維。

沒有參與這項研究的哈佛大學計算機科學教授費南達·維埃加斯（Fernanda Viégas）表示，她對看到這樣一個新的“解釋式”人工智能系統感到興奮，因為它不僅可以向用戶提供系統的決策過程，而且還是通過質疑系統決策邏輯的方式實現的。

（來源：STEPHANIE ARNETT/MITTR | WELLCOME COLLECTION）

維埃加斯說：“考慮到阻止人工智能系統廣泛采用的一個主要挑戰是它們的不透明度，解釋人工智能的決策是很重要的。傳統上，用‘用戶友好的’語言來解釋人工智能系統是如何做出預測或決定的，已經夠困難的了。”

芝加哥大學計算機科學助理教授 Chenhao Tan 說，他想看看這種方法是如何在現實世界中工作的——例如，人工智能是否可以通過問問題來幫助醫生做出更好的診斷。

以色列特拉維夫大學科勒管理學院的助理教授利奧爾·扎爾曼森（Lior Zalmanson）說，這項研究表明，在聊天機器人的體驗中加入一些“你來我往”，可以讓人們在獲得人工智能的幫助并做出決定時三思而后行。他說：“當一切看起來如此神奇時，我們就很容易停止相信自己的感覺，并開始把一切都委托給算法。”

在此次 CHI 會議上發表的另一篇論文中，扎爾曼森和來自美國康奈爾大學、德國拜羅伊特大學以及微軟研究院的研究團隊發現，即使人們不同意人工智能聊天機器人的陳述，他們仍然傾向于使用人工智能輸出的內容，因為他們認為它看起來比自己寫的高級得多。維埃加斯說，一個挑戰將是找到最合適的度，既能提高用戶的識別力，又能同時保持人工智能系統的便捷。

她說：“不幸的是，在一個快節奏的社會中，目前還不清楚人們多想使用批判性思維，而不是等一個現成的答案。”

支持：Ren

原文：

https://www.technologyreview.com/2023/04/28/1072430/a-chatbot-that-asks-questions-could-help-you-spot-when-it-makes-no-sense/

責任編輯：