安全政策再遭質疑！OpenAI解散AGI籌備團隊，主管離職

媒體報道，AI領頭羊OpenAI正在解散其“AGI（通用人工智能）籌備”團隊，團隊主管將離職，希望在外部繼續該領域的研究。

OpenAI的AGI籌備團隊負責建議公司如何處理越來越強大的AI技術，以及當今世界是否準備好管理這些技術。CNBC報道，OpenAI的AGI籌備團隊負責人Miles Brundage在週三通過Substack發佈的帖子中宣佈了這一消息，並表示他將離職。

Brundage表示，他離職的主要原因是機會成本變得太高，他認爲在外部進行研究會更具影響力，並且他希望減少偏見。他還表示，OpenAI及世界在AGI籌備方面“尚未準備好”。而Brundage計劃創建自己的非營利組織，或者加入現有的組織，專注於AI政策研究和倡導。他補充說，

根據帖子內容，原AGI準備團隊的成員將被重新分配到其他團隊。

OpenAI發言人向媒體表示：

今年5月，OpenAI決定解散其剛剛成立一年的“超級對齊”團隊（Superalignment team），該團隊專注於AI的長期風險。

正值公司改組、高層動盪之際

AGI準備團隊的解散消息也正值OpenAI董事會可能計劃將公司重組爲營利性企業之際。上個月，包括該公司首席技術官Mira Murati、研究主管Bob McGrew和研究副總裁Barret Zoph在內的三位高管宣佈同日離職。

今年10月初，OpenAI完成了一輪估值1570億美元的融資，其中包括從多家投資公司和大科技公司籌集的66億美元。公司還獲得了一筆40億美元的循環信貸額度，使其總流動資金超過100億美元。公司預計今年的收入將達到37億美元，但虧損約爲50億美元。

今年9月，OpenAI宣佈，該公司在5月份成立的“安全與安保委員會”（Safety and Security Committee）將成爲一個獨立的董事會監督委員會。該委員會最近結束了爲期90天的審查，評估了OpenAI的流程和保障措施，並向董事會提出了建議，這些建議還在公司博客中公開發布。

AI安全問題的處理遭質疑

目前，有關OpenAI安全問題以及相關爭議的關注度越來越高。今年夏天，OpenAI、谷歌、微軟、Meta等公司在生成式AI領域激烈競爭，目前預計這一市場在未來十年內將產生超過1萬億美元的收入。

今年7月，OpenAI將其頂級安全高管之一Aleksander Madry調整崗位，讓他專注於AI推理的工作。Madry曾是OpenAI的“AI風險預防小組”籌備團隊負責人，該團隊的任務是“跟蹤、評估、預測並幫助防範與前沿AI模型相關的災難性風險”。

而在6月，一名民主黨聯邦參議員致信OpenAI首席執行官Sam Altman發送信函，詢問OpenAI如何應對新出現的安全問題。信中提到：

微軟於7月放棄了其在OpenAI董事會的觀察席位，並對媒體表示，由於對OpenAI的董事會構成感到滿意，微軟決定退位。此前，OpenAI董事會經歷了一次重組，這次變動導致Altman短暫被罷免，同時也威脅到了微軟對OpenAI的大量投資。

但在今年6月，一羣現任和前任OpenAI員工發佈了一封公開信，表達了對人工智能行業快速發展的擔憂，特別是在缺乏有效監督和沒有“吹哨人”保護機制的情況下。信中寫道：

而在信件發佈幾天後，一位知情人士向媒體證實，美國聯邦貿易委員會（FTC）和司法部正準備對OpenAI、微軟和英偉達展開反壟斷調查，重點關注這些公司的行爲。

內部人士批評：過於追求產品 對AI風險披露不足

這些員工在6月的信件中還寫道，AI公司擁有大量非公開的信息，瞭解其技術的能力、已採取的安全措施的程度，以及這些技術在不同層面帶來的潛在風險。

OpenAI於去年成立的“超級對齊”團隊，專注於“科學和技術突破，以引導和控制比人類更智能的AI系統”。該團隊在5月份被解散，領導人Ilya Sutskever和Jan Leike宣佈離職。Leike在X上發帖稱，OpenAI的“安全文化和流程，已經讓位於光鮮的產品”。

Altman當時在X上表示，看到Leike離開感到難過，並承認OpenAI還有很多工作要做。不久之後，OpenAI聯合創始人Greg Brockman在X上發表了一份聲明，強調公司已經“提高了對AGI風險和機遇的認識，以便世界能夠更好地爲此做好準備”。

Leike當時在X上寫道：“我加入OpenAI，是因爲我認爲OpenAI是世界上進行這類研究的最佳場所。”然而，他表示自己與公司領導層在覈心優先事項上存在分歧，最終不得不分道揚鑣。Leike認爲，公司應該更多地關注安全、監控、風險應對工作以及對社會的影響。

他表示：

質疑OpenAI安全政策的不只是政府和內部人士。華爾街見聞此前文章稱，2024諾貝爾物理學獎獲得者、“AI教父”Geoffrey Hinton在獲獎後接受多倫多大學校長Meric Gertler採訪時表示，Altman更關心利潤，而不是安全，AI技術如果不加以控制可能會帶來災難性的後果。馬斯克此前也表示，不希望世界上最強大的AI被不值得信賴的人控制。

作爲“AI教父”，Hinton最廣爲人知的學生之一是前OpenAI聯合創始人兼首席科學家Ilya Sutskever，他於去年11月領導公司董事會解僱了Altman，但隨後又迅速重新聘用Altman成爲公司CEO。Hinton表示：

近年來，Hinton一直在警告，如果不加以控制，AI系統可能會帶來災難性的後果。

事實上，不止是Hinton，越來越的人也開始表達對Altman行爲的不滿。近日，馬斯克也表示，他“不希望世界上最強大的AI被不值得信賴的人控制。”

馬斯克在接受媒體人Tucker Carlson採訪時表示，他不信任OpenAI或Sam Altman。