Ilya離開OpenAI內幕曝光:奧特曼砍他團隊算力,優先搞產品賺錢

連發13條推文!

OpenAI超級對齊負責人Jan Leike,也就是剛剛追隨Ilya離開公司的那位,自曝離職的真正原因,以及更多內幕。

一來算力不夠用,承諾給超級對齊團隊的20%缺斤少兩,導致團隊逆流而行,但也越來越困難。

二來安全不重視,對AGI的安全治理問題,優先級不如推出“閃亮的產品”。

緊接着,更多的八卦被其他人挖出來。

比如OpenAI離職成員都要籤一份協議,保證離職後不在外說OpenAI壞話,不籤的話視爲自動放棄公司股份。

但仍然有拒不簽署的硬骨頭出來放猛料(笑死),說核心領導層對安全問題優先級的分歧由來已久。

去年宮鬥至今,兩派的觀念衝突到達了臨界點,這纔看上去頗爲體面地崩了。

因此,儘管奧特曼已經派了聯合創始人來接管超級對齊團隊,仍舊不被外界看好。

衝在最一線的推特網友們感謝Jan有勇氣說出這個驚人大瓜,並感嘆:

我勒個去,看來OpenAI真的不太注重這個安全性!

不過回過頭來,如今執掌OpenAI的奧特曼這邊,暫時還坐得住。

他站出來感謝了Jan對OpenAI超級對齊和安全方面的貢獻,表示Jan離開,他其實很難過、很捨不得。

當然了,重點其實是這一句:

等着,過兩天我會發一篇比這更長的推文。

從去年OpenAI宮鬥到現在,靈魂人物、前首席科學家Ilya就幾乎不再公開露面、公開發聲。

在他公開宣稱離職前,就已經衆說紛紜。很多人認爲Ilya看到了一些可怕的事情,比如可能毀滅人類的AI系統啥的。

△網友:我每天醒來第一件事就是想Ilya看到了啥

這次Jan算是攤開了說,核心原因就是技術派和市場派對安全方面的優先等級產生了不同看法。

分歧很嚴重,目前後果嘛……大家也都看到了。

據Vox報道,熟悉OpenAI的消息人士透露,更注重安全的員工已經對奧特曼失去了信心,“這是一個信任一點一點崩潰的過程”。

但如你所見,在公開平臺和場合,沒有太多離職員工願意公開談論此事。

一部分原因是OpenAI一直以來,都有讓員工簽署帶有非貶低協議的離職協議的傳統。如果拒絕簽署,就等於放棄了此前拿到的OpenAI的期權,這意味着出來說話的員工可能會損失一筆鉅款。

然而,多米諾骨牌還是一張接一張的倒下了——

Ilya的辭職加劇了OpenAI近期的離職潮。

緊隨其後宣佈離職的,除了超級對齊團隊負責人Jan以外,目前有至少五個安全團隊成員離職。

其中還有個沒簽署非貶低協議的硬骨頭,Daniel Kokotajlo(以下簡稱DK哥)。

△去年DK哥寫道,他認爲AI發生生存災難的可能性爲70%

DK哥在2022年加入OpenAI,在治理團隊工作,主要工作內容是引導OpenAI安全部署AI。

但他也在近期辭職了,並且對外接受了採訪:

DK哥闡述,當年,他加入OpenAI,滿懷對安全治理的報復和希望,期望OpenAI越靠近AGI能越負責任。但團隊中許多人慢慢意識到,OpenAI不會這樣了。

「逐漸對OpenAO領導層以及他們負責地處理AGI的能力失去了信心」,這就是DK哥辭職的原因。

對未來AGI安全工作的失望,是Ilya加劇的離職潮中衆人離開的一部分原因。

還有一部分原因,是超級對齊團隊,恐怕沒有外界想象的那樣能資源充沛地進行研究。

即便超級對齊團隊滿負荷工作,團隊也只能獲得OpenAI承諾的20%的算力。

而且團隊的一些請求經常被拒絕。

當然是因爲算力資源對AI公司來說重要至極,每一點都要合理分配;也因爲超級對齊團隊的工作是“解決如果公司成功構建AGI,實際上會出現不同類型的安全問題”。

換句話說,超級對齊團隊對應的是OpenAI需要面臨的未來的安全問題——劃重點,是未來的、不知是否會出現的。

截至發稿,奧特曼還沒有發出他那篇“(比Jan爆料內幕的)更長的推文”。

但他簡單提到,Jan對安全問題的擔憂是對的,“我們還有很多事情要做;我們也致力於這樣做。”

就這一點,大夥兒可以先辦個小板凳等等,到時候咱一起第一時間吃瓜。

綜上,現在超級對齊團隊走了好些人,尤其是Ilya和Jan的離職,讓這個風雨之中的團隊面臨羣龍無首的窘況。

後續安排,是聯合創始人John Schulma來接手,但不再有專門的團隊。

新的超級對齊團隊將是聯繫更鬆散的小組,成員分佈在整個公司的各個部門,OpenAI發言人將其描述爲“更深入地整合”。

這一點也爲外界所質疑,因爲John的原本全職工作是確保目前的OpenAI產品的安全問題。

不知道突然多了份責任後,John能不能忙得過來,好好領導關注現在和關注未來安全問題的兩個團隊?

如果把時間陣線拉長, 其實今天的分崩離析是OpenAI“宮鬥”Ilya-Altman之爭的續集。

時間回溯到去年11月,當時Ilya還在,他同OpenAI董事會合作試圖解僱掉奧特曼。

當時給出的理由是,他在溝通中不夠真誠。換言之,我們不信任他。

但最終結果顯而易見,奧特曼帶着他的“盟友”威脅加入微軟,結果董事會屈服,罷免行動失敗。Ilya離開董事會。而奧特曼這邊,選擇了對他更爲有利的成員加入董事會。

在這之後,Ilya就再也社交平臺上消失了,直至前幾天官宣離職。而且據說,已經大約6個月沒有出現在OpenAI辦公室了。

當時他還留下一條耐人尋味的推文,但很快就刪除了。

但據內部人士透露,Ilya一直遠程共同領導着超級對齊團隊。

而在奧特曼這邊,員工們對他最大的指控就是言行不一,比如他聲稱自己想優先考慮安全,但他的行爲卻很矛盾。

除了原本承諾的計算資源沒有給到外。還有像前陣子找沙特等籌集資金來造芯。

那些注重安全的員工懵了。

如果他真的關心以儘可能安全的方式構建和部署人工智能,那麼就不會這麼瘋狂地積累芯片,來加速技術的發展?

更早之前,OpenAI還從一家奧特曼投資的一家初創公司訂購芯片。金額高達5100萬美元(約合人民幣3.6億元)。

而當時宮鬥那幾天OpenAI前員工的舉報信中,對於奧特曼的描述似乎也再一次印證。

也正因這樣從始至終“言行不一”的操作,讓員工們逐漸對OpenAI以及奧特曼失去信心。

Ilya是這樣,Jan Laike是這樣,超級對齊團隊也是這樣。

有貼心的網友整理出這幾年年間,發生的相關事情的重要節點——先來個貼心提示,下文提到的P(doom),指“AI引發世界末日場景的可能性”。

大模型發展至今,「如何實現AGI?」其實可歸結爲兩條路線。

技術派希望技術成熟可控再應用;市場派則認爲邊開放邊應用“漸進式”走到終點。

這也是Ilya-Altman之爭的根本分歧,即OpenAI的使命:

而從OpenAI對外的一些舉措來看,結果顯然不是,他們只是想要在大模型這個競爭中拔得頭籌,爲企業和消費者提供更多的服務。

這在Ilya看來,這是件非常危險的事情。即便我們不清楚隨着規模的擴大會發生什麼,但在Ilya看來,最好的辦法就是安全第一。

那麼最後AI科學家Ilya的選擇正確,還是硅谷商人奧特曼能走到最後呢?

現在還無從得知。但至少OpenAI現在面臨着關鍵抉擇。

有業內人士總結了兩個關鍵信號,

一個是ChatGPT是OpenAI主要收入,如果沒有更好的模型支撐,就不會免費向所有人提供GPT-4;

另一個則是如果離職的團隊成員(Jan、Ilya 等)不擔心很快會有更強大的功能,他們就不會關心對齊的問題……如果AI停留在這個水平上,基本上也無所謂。

但OpenAI的根本矛盾沒有得到解決,一邊是盜火一樣的AI科學家對負責任發展AGI的憂慮,另一邊則是硅谷市場派對於用商業化方式推動技術可持續的急迫。

兩方已經不可調和,科學派正在完全出局OpenAI,而外界至今也不知道,GPT究竟到哪一步了?

迫切想要知道這個問題答案的吃瓜羣衆都有點累了。

一種無力感涌上心頭,就像Ilya的老師、圖靈獎三巨頭之一Hinton說的那樣:

我老了,我擔憂,但我無能爲力了。

參考鏈接:[1]https://www.vox.com/future-perfect/2024/5/17/24158403/openai-resignations-ai-safety-ilya-sutskever-jan-leike-artificial-intelligence[2]https://x.com/janleike/status/1791498174659715494[3]https://twitter.com/sama/status/1791543264090472660