牛津大學、DeepMind研究人員：超級人工智能很可能威脅人類生存

每經記者｜蘭素英    每經編輯｜高涵    

牛津大學和谷歌人工智能部門 DeepMind 的研究人員聲稱，高級形式的人工智能很有可能“對地球上的生命構成威脅”。

在他們合著的一篇發表于同行評審期刊 AI Magazine 的論文中，研究人員警告稱，如果某些人工智能體的發展繼續下去，將會產生“災難性后果”。

該論文提出一個場景，人工智能為了獲得預先編程時所設置的獎勵，可能會發展出作弊策略。實驗認為人類最終會與人工智能爭奪資源。

“在我們已確定的條件下，我們得出的結論比以往發表的任何文章都要確鑿得多——‘生存災難’不僅可能發生，而是很有可能。”來自牛津大學的論文合著者科恩此前在推特上寫道。“這些可能性，盡管是理論上的，都意味著我們在開發更強大的人工智能上，步調應該放緩。”

DeepMind 已經提出針對這種可能性的保護措施。在 2016 年題為“安全中斷代理”的論文中，該公司勾勒了一個框架，用于防止高級機器忽略關閉命令，成為失控的流氓代理。