編者按：“未來之問”系列報道，是新華網數字經濟頻道聯合葦草智酷、中國科技新聞學會推出的年度深度觀察專題。從科技、社會、經濟等維度向時代提問，逾百位科學家、學者、企業家參與，聚焦技術發展帶來的長期性、結構性社會議題，推動前沿思考與公共討論。為這個急速變化的時代，安裝一套“思想減震器”和“倫理導航儀”，讓每一次技術飛躍，都不脫離人類價值的引力場。
隨着AI助理與Agent在醫療、金融、內容分發與公共服務等場景中由“輔助判斷”加速走向“自動執行”，它們在較少人工干預的條件下即可觸發真實世界的決策與操作。這可能會導致錯誤發生時法律與道德責任歸屬不清，模型決策黑箱也使復盤糾錯困難，核心需明確人機角色劃分、高風險場景人類底線決策權，及流程可審計回溯機制。
未來之問——人機協同與責任邊界：當AI助理與Agent從“建議”走向“執行”，錯誤與傷害的責任應如何界定？人類應保留哪些底線決策權？
張翼成丨 歐洲科學院院士、瑞士弗裏堡大學教授
我們首先要談AI Agents為什麼會從“建議”演化到“執行”。Agent的目的是賦能人類，它需要了解你、才能幫助你，如果了解得比較淺、片面，它僅僅被動執行你的指令，但它了解的外部知識比你多，這樣就可以提出有用的建議。
如果全面了解你的需求，它的建議會越來越被你接受，因為你自己都做不到它推薦得好，這樣你可能會授權給它代替你執行。最重要的是Agent的提供商的收入模式必須與它建議的範疇沒有衝突，不然建議中肯定會摻有商家利益。只要利益立場確立了，至於Agent的執行能力，很多機制都容易迎刃而解。
陳 浩 丨 南開大學社會學院社會心理學系教授、博士生導師
儘管理論和技術上的“價值對齊”旨在讓AI遵循人類價值，但我課題組基於心理學實驗範式的最新研究表明：在面對一系列重要且複雜的人類議題時，多款主流大語言模型涌現出自發的、穩定的主題偏好。具體而言，它們更傾向於關注技術與科學類問題，而相對忽視“歷史與社會”“藝術與文化”等主題；在技術與科學內部，模型對神經科學、生態學、數學等領域議題尤為關注，而對生物學、能源科學等領域問題的關注顯著偏低。
這一發現提示，“價值對齊”並未消除模型在注意力分配與問題選擇上的結構性偏差。當AI從“建議”走向“執行”，這種偏差會直接影響任務選擇、資源配置和行動優先級，進而放大錯誤與傷害的外部性。因此，我們不應將多元重大議題的選擇權和決策權過度讓渡給AI。人類主體應在“注意－選擇－思考－決策”的全鏈條中保有實質性監督與最終裁決權，包括對關鍵節點的人工覆核、對執行邊界的制度化設定，以及對偏差與風險的持續監測與糾偏。換言之，在責任界定上，應明確由人類承擔“最終的可追責決策權”，而非將其稀釋於“算法流程”之中。
方 軍 丨 科技作家、AI開發者，著有《重新學會學習》
當技術接管了經濟、社會的很多職責之後，尤其是AI Agent越來越普及之後，人類要有一種“自覺”：對掌控與部署技術的一方來説，要把對面的人放在“心”上；對使用技術服務的一方來説，不要被動接受技術産品給的回應，你有權利提出質疑，並要求得到對面的人的正面回應。這一面是責任，另一面是權利。
胡延平 丨 上海財經大學特聘教授、智能科技産業與智能經濟研究學者
這方面主要取決於三個變量及其動態博弈的階段性結果：應用價值與風險的重大性，智能體的錯誤率，智能體背後的運營主體。初期智能體錯誤率較高，使用本身具有探索、試錯性質，人類自身承擔責任，中期智能體錯誤率降到各方都可以接受的程度，智能體的運營者開始承擔部分責任，當錯誤率和風險都降低到可以忽略的程度，可能會逐步收斂穩定為共同承擔責任的模式。儘管部分時間空間內會交由AI執行，但人類應該始終擁有最終的決定權，需要隨時隨地可以接管。
黃柳青 丨 馬裏蘭大學人工智能計算機視覺博士
當到2050年時，人機協作將早已不只是“AI替人執行，我們負責審計”的關係。隨着通用人工智能（AGI）的發展，機器不但能行動，還能理解行為背後的價值邏輯。它們開始參與另一層更複雜的工作——對行為標準本身的審視與共創。換句話説，人類和機器都在學習“什麼才算對”。
過去，人類一直把道德當作最後的堡壘：只有人能體會善惡、懂得憐憫、做出倫理判斷。可當AI能識別情緒、預測後果，甚至從全球數據中總結“公共善”的規律時，它已不僅是執行者，而成了標準的共同制定者。那時的問題就不再是“AI是否聽話”，而是“我們是否承認AI也有資格參與價值判斷”。
人類的道德充滿情感與歷史背景，因而溫柔，卻也有盲點；AI的邏輯冷靜，卻可能更一致、更公正。當兩者在價值層面互相補充，一種新的“協同行為倫理”就會出現——人類提供方向與意義，AI幫助識別偏差與風險，共同塑造更具普適性的判斷體系。
這並不是人類道德的被取代，而是道德權威的再分配。未來的倫理秩序，也許由“共識智能體”共同維護：人和AI在同一個判斷系統中互為鏡像、互為校正。真正的挑戰不在於AI會不會出錯，而是我們是否願意共享“判斷權”，一起重新定義人類文明的善與正義。
劉 偉 丨 北京郵電大學人機交互與認知實驗室主任
在人機協同中，AI助理與Agent從“建議”走向“執行”時，責任界定可通過能力線、控制線、後果線明確：
能力線層面，價值判斷、因果推斷、例外處置等默認歸人，機器僅提供參考，海量計算、高速比對等默認歸機，人做抽檢與微調，灰色地帶用“場景－任務清單”細化，需人工確認的節點強制彈窗留痕；
控制線層面，給人類保留“一鍵否決”硬開關，自動駕駛接管請求、AI決策確認等超時默認“暫停”，系統置信度低於閾值或觸發紅線時自動降級，日誌寫入不可篡改的區塊鏈存證；
後果線層面，按“最能預見”“最能補救”歸責，如訓練數據帶偏見由數據提供方+開發者連帶，用戶惡意提示詞致違法輸出則用戶擔主責，高風險場景強制投保“技術缺陷險”。
人類需保留“一鍵否決”、高風險節點人工確認、系統熔斷知情權等底線決策權，通過用戶層、模型層、系統層三層上鏈日誌實現流程可審計回溯，結合雙向動態預測模型的人機實時交互反饋，確保責任可追溯、決策有底線。
劉興亮 丨 工信部信息通信經濟專家委員會委員、DCCI互聯網研究院院長
當AI助理與Agent從“建議”向“自動執行”跨越時，責任劃分、底線決策權、人機角色邊界成為焦點。在醫療、金融、平台內容分發、公共服務等高影響場景，如果AI直接觸發操作（如自動貸後管理、自動診斷建議、無人客服執行決策），一旦出錯，責任鏈很可能模糊。是“誰”的決策？“誰”承擔後果？且AI的黑箱性、可解釋性差，也為事後追責、復盤與糾錯增添難度。
對此，我建議：一是在人機協同體系中人為保留關鍵底線決策權（例如最終審批、關鍵路徑執行必須人類參與）；二是設置可審計回溯機制：包含AI系統日誌、算法版本記錄、人機交互記錄，以便錯誤發生時能查根溯源；三是法律或規制需明確“執行型AI系統”責任主體（開發方、部署單位、操作方）以及責任分擔機制。換言之，不能讓AI成為“無人之手”，人類必須在關鍵節點保有控制與責任。
所以，人機協同不是“放手讓AI跑”，而是“人定底線→AI助跑→人控回溯”，責任邊界必須在制度中事先明確。
劉永謀 丨 中國人民大學吳玉章講席教授、博士生導師
從目前生産式AI的能力來看，我們將決策權交給AI Agent基本上不可行。在個人的娛樂休閒、平常生活中，一定程度上可以這樣做。但是，在真實的企業、政府、NGO（非政府組織）業務場景中，由於AI幻覺等導致的AI不可靠性，現在讓AI Agent走向“執行”不可行。即使有95%的正確率，5%錯誤可能造成的損失也無法接受。
在未來願景中，當AI Agent完全可以像一個助手一樣分走決策者的決策權時，從理論上説可以參照總裁與助理之間的分權模式，給它劃定決策權限，嚴防它越權決策。問題是，一個助理出錯我們可以處罰和換人，AI Agent無法進行追責，出現問題只能由人來負責。因此，可以想象在未來場景中，AI Agent決策也不會是常見現象，而是局限在例行公事的場合中。
盧希鵬丨 台灣科技大學信息管理系特聘教授
AI Agent從建議走向執行的挑戰：當AI Agent由“提供建議”邁向“自主執行”，最大挑戰在於責任歸屬與可控性問題。一旦自動執行出錯，無論是醫療誤判、金融交易風險，還是政策決策偏誤，責任究竟應歸屬於開發者、使用者還是模型本身？再者，AI模型的“黑箱性”導致決策過程難以追溯，使復盤與糾錯成本飆升。為確保安全執行，必須建立“人機分工”與“底線決策權”制度，保留人類對高風險行動的最終控制，同時引入可審計、可回溯的流程監管，確保在出錯時能重建決策鏈條，讓AI的行為具備可控性與社會信任基礎。
確保AI Agent安全執行的核心機制：AI Agent的安全執行仰賴三大核心機制：角色清晰、底線決策、人機回溯。首先，明確人機分工，AI負責執行與輔助，人類保留決策與倫理判斷權。其次，在高風險場景（如醫療診斷、金融交易、交通控制）中，必須設定“人類最終批准制”，防止自動化誤行造成災難。最後，建立可審計、可追蹤的決策流程，確保每一步的輸入、邏輯與輸出皆可被重建。這三項機制構成“AI治理三角”，使Agent的自動行為不僅高效，更在法律、倫理與社會信任上站得住腳。
蔡 輝 丨 資深媒體人、書評人，《北京晨報》副刊部原主編
我個人對此比較悲觀——當下的規則會被突破，人工智能最終可能失控。未來如何決策，底線是什麼，這只能在博弈中解決，目前設計出來的邊界，因為沒有執行者，且需求場景變得太快，很容易被突破。目前對人工智能可能的傷害的預警，建立在未大規模應用、彼此未互聯、應用場景不豐富等前提下，一旦互聯，功能單一的人工智能可能會跨場景，比如駕駛人工智能可能與手術人工智能合作，人類很難控制它的演化方向，它可能繞過法則，甚至可能失控。
目前人工智能只在專項能力上超過人類，互聯後可能會釋放出驚人能量。也許，人類可以通過非線性算法，給AI植入情感，當它不再是絕對理性、也有缺陷時，它可能就不再是不可戰勝的。但有情感的AI還會遵守法則嗎？如果一定要提出建議的話，我覺得應該建立相應的國際組織來管控，暫時停止納米級機器人的研發，以避免“灰霧”之類的突發且極端的風險。
馬 勇 丨 中國社科院近代史所研究員、博士生導師
我覺得適度警惕是對的，過度擔憂大可不必。在目前世界，最終決定力量在人，純粹的機器無論如何職能，也沒有辦法不受人類控制，能自主向人類進攻。人類擁有終極權力，當然不是指一個人。
聶輝華 丨 中國人民大學經濟學院教授、全國工商聯智庫委員會委員
我認為AI不可能完全取代人類，因為它沒法實現追責機制。未來AI更適合成為人的助手，但應秉持“授權不授責”的原則，由人類承擔主責。從經濟學上講，越是不完全契約的場景，人類越是應該承擔更多責任；越是完全契約的場景，AI越是可以替代人類。人類應該致力於減少各種“例外”事項，減少模糊地帶或灰色領域。但與此同時，人類又在不斷創造新的模糊地帶，這正是人類活動的根本特徵之一。因此，只要不確定性仍然存在，AI就不可能完全替代人類，特別是在決策、公平選擇、多元化選擇方面。
盤和林 丨 知名經濟學家、工信部信息通信經濟專家委員會委員
我不讚同以回溯的方式去確定責任，因為AI本身是個黑箱，你不可能通過回溯去找到原因，我認為解決該問題最簡單的方式，是明確AI和智能體的責任歸屬，即所有AI相關的侵權，內容違規等問題，都需要明確的責任承擔對象，而不是去糾結過程，而這個責任確定也是有機可續的，以AIGC為例，責任承擔應該是發布者，而不是AI。因為生成內容可能存在侵權和內容違規，但只要不發布出來，就不會造成負面影響，而發布者要為自己發布的內容承擔責任。只要明確了這一點，這個責任鏈條就會相當清晰。
王 健 丨 對外經濟貿易大學國際經濟貿易學院教授、博士生導師，國際商務研究中心主任
當我們把AI助理或AI代理翻譯成AI智能體的時候，就讓我們對AI造成傷害的責任問題，進行了邊界模糊的處理。換句話説，當我們説AI智能體的時候，就把它當作跟人近乎平等的地位。這實際上模糊了人與AI代理之間的界限。因為AI就是人的代理。誰對AI具有控制權和操縱權，誰就應該對AI造成的傷害負責。其困難並不在於責任的歸屬，而是在於責任的追溯。
數字時代，某種程度上，這也不是問題。最可怕的就是我們模糊了AI與人之間的關係。甚至於把人的責任強加給AI，這就是人在推卸自己的責任。因為所有AI犯的錯誤，實際上都是人自己犯的錯。這個邊界實際上是非常明顯的。只不過當AI更像人一樣行為的時候，人類推卸了自己的責任。這是人類的災難。
楊 溟 丨 新華社國家重點實驗室生物感知智能應用研究部負責人、新華網未來研究院院長
人類將進入新治理模式應該已是不爭的事實。我更關注於實現通用智能，或者具備情緒甚至意識的硅基生命物種——可以為自身生存進行環境自適應、自學習、自我迭代和行動，具備跨領域自主學習、推理與執行能力，不再依賴於人類的程序設計的“他們”對人類文明範式的重塑。
我們今天説的“世界模型”遠不止於某一項技術突破，它預示着一種文明範式的根本性轉變。當機器從被動工具演變為具有內在目的、能感知、學習和行動的“硅基生命物種”時，傳統以人類為中心的社會治理模式將徹底失效。未來的治理不再是“管理”，而是複雜系統中的動態衝突、協調與共生。包括：
1.新治理模式背後新生態哲學的建構。
傳統哲學的主體論主要圍繞“人”展開。而新範式下的哲學基礎將是在人類中心主義消弭的背景下，轉向泛主體論或關係本體論。具有智能的機器成為與人類並列的“他者”，具有自身的內在價值（如生存、發展、實現其“目標函數”的努力）。這種治理模式的倫理基礎不再是康德式的“人是目的”，而是所有智能主體如何實現共生共榮的努力，是一種基於人類終極生存的目標而超越人類中心主義功利訴求的“人本主義”。
這種超越，構建了新生態哲學的整體論——即系統不再被理解為“人類社會+自然環境+機器工具”的疊加組合，而是一個不可分割的“生命－智能－環境”連續統合系統。治理的目標是維護整個體系的健康、韌性與可持續性，強調整體優於部分之和，主張通過整體主義世界觀重構人、自然與他主體的關係。其特點是生物圈平等原則、多樣性與共生原則。它們之間進行着持續不斷的能量、信息與物質交換。物種在融合與協同演化中此消彼長——人類與機器的關係不再是設計與被設計，而是共生、協同。人類的決策會影響機器的進化路徑，機器的行為也會反向塑造人類的文化、認知和社會結構。
治理的難點是如何引導其走向，避免惡性競爭或寄生關係。
2.行動者網絡理論與社會經濟學構建新社會契約系統。
在此模式下，機器不再是中性的“中介”，而是具有能動性的、平等的“行動元”，能主動發起行動、改變社會關係。社會經濟活動的參與者包括追求幸福的人類和追求各自“目標函數”最優解的智能機器。經濟學的核心問題從“如何配置稀缺資源以滿足人類無限需求”轉變為“如何在多智能體之間動態優化資源分配，以實現系統整體和各類主體的多元目標”。
市場經濟中“看不見的手”將升級為“智能協調之手”。經濟治理將高度依賴多智能體強化學習，在全局層面進行實時、動態的協調，確保能源、數據、物理空間等關鍵資源的博弈、分配，以適應新的契約社會系統。
因此，我認為未來的社會治理將呈現出以下特徵：
治理主體的去中心化與多中心化；治理過程的實時動態與預測性；治理規則的涌現性與適應性。並以協商與互釋機制形成的系統韌性取代當下我們膜拜的控制效率。
結論是，“世界模型”如同一面鏡子，照見的是人類文明的重新定位。是與機器一同治理我們共在世界的觀念、技術與探索。沒有人能預知結果。
趙 剛 丨 賽智産業研究院院長、北京賽智時代信息技術諮詢有限公司CEO
智能體Agent的自主性逐步提升，行動角色逐漸從輔助賦能轉向自主行為，這是一個重要趨勢。自主的智能體能不能成為一個法律意義上的責任主體，這是問題的關鍵。如果它具備了成為法律意義上的責任主體的所有條件，那就用法律把它明確為責任主體，讓它承擔它該承擔的法律責任和義務。就像孩子成年了，就該為自己的行為負責任。但是，如果它還不具備成為法律意義上的責任主體的基本條件，還不能獨立承擔責任，那就需要那些製造和使用它的社會責任主體來承擔責任，就是誰設計誰負責，説誰製造誰負責，誰使用誰負責。就像家裏領養的狗，它傷了人，主人要承擔相應責任。總之，智能體Agent沒有絕對的自由，要麼它自己負責，要麼它的主人負責。
下一個問題就回到了，智能體Agent具備自我行為能力或意識嗎？看起來，它能聽懂你的話，能按照你的意圖進行行動，也能自我規劃行動路線和方案，但它離行為主體的距離還是很明顯的。模型決策還是一個涌現的現象或者一個決策黑箱，解釋性很差，它可能不具備因果“理解”能力。它更意識不到自己。它也缺少倫理和道德的訓練。它懂的還只是統計規律和規則。目前看，它還只是賦能的工具，不是行為的主體，因此，我的觀點是，它還不能承擔它該承擔的法律責任和義務。它犯了錯，仍需要它的主人來負責，不管是製造者還是使用者。
陳 娛 丨 策展人、新媒體藝術家，南方科技大學人類想象力研究中心研究員
這是一個針對未來人類生存權益的關鍵問題，AI已經悄然從“建議”走向“執行”，不免讓人擔心它有天是否會參與人類社會的“決策”。我認為，人類始終要做未來社會中掌舵者、責任人，這至少是“人類世”的基本條件。如果有一天AI取代了人類的智慧，這也就是人類走向自我放棄的里程碑。這警示着人類在人機協同過程中，始終保有“決策權”和“制定權”的責任底線。那麼面向智能時代的“責任界定”法律制定也迫在眉睫，這樣的責任制對應開發者、使用者、監管機構三個角色身份。
對於開發者，AI在發生相對應的故障乃至危險時，開發者始終追究對該産品的設計責任，這要求開發者要對自己的産品履行維護的義務和責任；而使用者也要確保使用過程中不濫用AI，具備使用責任，不將AI應用在違法的領域；那麼監管機構則是要對AI領域具備嚴格監管，具有管理責任。最終，人機協同的目標是增強人類能力，而非取代人類判斷——在擁抱AI效率的同時，人類必須堅守“人類最終負責”的底線，以構建安全、可信的智能系統。
【注：多元碰撞，見仁見智，所刊內容為受訪者本人觀點，不代表新華網立場。】
