AI教父Hinton最新現場精彩問答萬字實錄 （附視頻）
未經許可不得轉載，務必保留原文出處鏈接和公衆號按鈕
（關注本城公衆號並設爲標，
第一時間獲取最新世界頂級科技認知 ）
Web3天空之城 · 城主
前言：
這是最新放出的AI教父Hinton的現場問答實錄。 在場觀衆都是從事AI的專業人士，對AI教父的問題有些相當尖銳。
另一方面，雖然Hinton出來講的視頻不少，但如城主之前所感覺，薑還是老的辣，總是覺得Hinton所談的內容，每次看都會有不少新東西。這次也不例外。
推薦給大家。
B站傳送：【精校】AI教父Hinton最新現場問答 2024.7 【中英】-嗶哩嗶哩】
https://b23.tv/ffa4Zpe
-Web3天空之城書面整理版全文--
主持人：
很高興傑弗裡·辛頓能來這裡。我會提前簡要列出你的成就，儘管感覺有點多餘。你可能會說我不需要介紹，但我還是要給你做個介紹。
Hinton：（笑）你的第一個問題是什麼？
好的，我很好奇你的想法是如何改變的，就像比爾剛纔提到的那樣。我會引用一些你在2018年說過的話，不是要點名，只是因爲我很好奇。部分原因是我覺得今天經常聽到人們說這些話，而你現在對人工智能的廣泛態度和人工智能的潛在風險似乎完全不同了。
在維基百科頁面上，我找到了一些你說過的話：“人工智能這個詞組暗示這種單一機器人會突然變得比你更聰明。我不認爲會這樣。我認爲我們所做的越來越多的日常事務將被人工智能系統取代。未來的人工智能將瞭解很多你可能希望它做的事情，但它不會取代你。”這似乎與我現在從你那裡聽到的完全不同，所以我很想知道你是否可以向我們介紹一下你在過去六年中思維的演變。
當時，我認爲我們還需要很長時間才能擁有比我們更聰明的東西。我還認爲，隨着我們讓事物更像大腦，它們會變得更聰明。然後在谷歌的最後幾年，我試圖想出如何使用模擬硬件來減少訓練這些大型模型和服務大型模型的能量需求。
很明顯，如果你可以使用模擬硬件，並且你有一個可以利用模擬電路所有特殊特性的學習算法，你就可以克服很多模擬問題。你不必讓兩臺不同的計算機以相同的方式運行。它們只是學會利用它們擁有的硬件。這使它們變得有點致命，所以當硬件死機時，它們的權重就不再有用了。但這也意味着你可以以更低的功率運行。
經典的例子是，如果你想將神經活動向量乘以權重矩陣以獲得下一層輸入，這是一種中心操作，需要大部分計算。那麼，如果你讓神經活動成爲電壓，讓權重成爲電導，電壓乘以電導就是單位時間的電荷。電荷會自行累加，所以你就完成了。你永遠不必將活動轉換爲16位數字，然後執行16平方位運算來進行乘法。這只是非常非常低的功率，非常簡單和快速。
現在，對於不太線性的東西，它們更難做到。但問題是，你能否使用模擬硬件來降低能耗？隨着我對此的思考越來越多，各種問題變得清晰起來。一是，我們不知道如何在一個你不知道系統如何運作的系統中學習。所以，如果你不知道系統如何運作，你就不知道前向路徑，所以你就無法做後向路徑。人們想出瞭解決這個問題的方法，即近似值。近似值對於像MNIST這樣的小東西很有效，但沒有人制作過一種不使用反向傳播的合理版本，即使是對於ImageNet大小的東西，現在也是一件小事。它曾經是一件大事，所以這是一個問題。另一個問題是我意識到數字計算的巨大優勢。雖然它消耗大量能源，但你可以擁有同一模型的許多不同副本。這些不同的副本可以查看不同的數據，並從中學習，然後通過平均梯度分享它們的知識。這對於在同一模型的不同副本之間共享信息而言意義重大。
如果我們可以這樣共享信息，那麼10,000人就可以學習10,000個不同的科目，並在學習過程中平均他們的權重，這樣你就可以一次獲得10,000個學位。然而，現實中並不是這樣運作的。我們無法很好地傳達信息，正如我現在所展示的那樣。我寫句子，你想辦法改變你的權重，這樣你就會寫出相同的句子。這叫做大學，但效果不太好。與共享權重相比，它非常慢。因此，他們比我們有巨大的優勢，正因爲如此，他們比我們知道得多。
所以，GPT-4的能力大約是任何一個人的1,000到10,000倍。它並不是所有領域的專家。它們之所以能做到這一點，部分原因是它們可以使用反向傳播來獲取梯度，部分原因是它們可以在同一模型的許多不同副本之間共享。因此，我開始相信，這實際上是一種比我們現有的計算方式更好的計算方式。
他們只需要幾萬億個連接，就能獲得比我們在100萬億個連接中獲得的知識多幾千倍的知識。他們正在解決一個不同的問題：擁有大量的經驗，但連接不多，而反向傳播非常擅長將信息壓縮進去。我們的問題恰恰相反：經驗很少，但連接數量巨大。我們可能有一種非常不同的學習算法。
所以我開始相信，讓事物更像大腦的這種領域或多或少已經結束了。事物將變得更聰明，不是通過讓它們更像大腦，而是通過利用我們已經走的路，這現在是數字智能所特有的。因此，我開始相信，這些東西比我們更好。
結束。
你能再多說一點嗎？我只是想知道，是什麼過程產生了這種改變你想法的洞察力？是你和別人交談嗎？我知道你提到了你當時在谷歌所做的工作。
那就是意識到，認真研究模擬的優勢，理解模擬的優勢，特別是現在我們學習一切，而不是編程。
我們製造數字計算機，所以它們完全按照我們說的做，這樣我們就可以編寫程序。不同的計算機必須做完全正確的事情，這樣你就可以對它們進行編程。我們不再對它們進行編程了。有一種學習算法，但爲了讓它們做特定的事情，我們會訓練它們。一旦你訓練了它們，你就不必讓它們都以同樣的方式工作，因爲它們會學習使用它們擁有的硬件。
所以你可以走一條完全不同的路。這就是生物學路徑，你利用特定神經元的奇怪屬性，而你的權重對我毫無用處，因爲我的神經元不同，我的連接也不同。這非常令人興奮，但當我遇到如何讓它學習以及學習算法是什麼的困難時，我開始意識到數字計算的巨大優勢，即使你在學習，即使你沒有直接編程。優勢來自於能夠共享，不同的模型能夠共享。這讓我相信這些東西更好。
與此同時，像 Palm 這樣的聊天機器人出現了，它可以解釋爲什麼一個笑話很有趣。這對我產生了很大的影響。我一直有一個標準，雖然沒有特別的理由，但我認爲這些東西真正變得聰明的標準是它們可以解釋爲什麼一個笑話很有趣。在我看來，這是一個很好的衡量標準，那是我的圖靈測試。Palm 可以做到這一點。它實際上不能開玩笑。你可能已經注意到，即使是 GPT-4 也不能開玩笑。
GPT-4 因爲它一次只生成一個單詞，所以如果你讓它講一個笑話，它會開始生成看起來很像笑話開頭的東西。比如，它會說一個牧師和一隻章魚走進了一家酒吧。你知道這是一個笑話的開頭，然後它繼續這樣下去，到了需要妙語的地步。但就像我的一些朋友一樣，它在試圖講笑話之前並沒有想到妙語，那是一場災難。所以它有這個非常懦弱的妙語。但那只是因爲它一次只生成一個單詞。它不必那樣表現。所以說一個笑話爲什麼好笑比講笑話要好得多。除非它只是記住一個笑話，否則它知道。但創造一個笑話對它來說很難。不管怎樣，我的標準是，它能告訴你爲什麼一個笑話好笑嗎？它能。
所以這是兩件事的結合。聊天機器人的能力，通過玩 GPT-4 得到了強化。事實上，我終於明白了數字技術比模擬技術好得多。這讓我覺得，這些東西可能會佔據主導地位。可能我們只是智能進化的一個過渡階段。這可能就像蜻蜓一樣。蜻蜓是奇妙的東西。如果你看看蜻蜓的幼蟲，它看起來一點也不像蜻蜓。它是生活在水下的龐大笨重的東西。它會從環境中獲取大量能量。然後它變成湯，你用湯做了一隻蜻蜓。我們就是幼蟲。
我也很好奇，自從對這個問題有了這樣的瞭解後，在你談論這個問題的這一年裡，你對這個問題的看法有沒有改變？
情況有所改變。我對人工智能安全有了更多的瞭解。在那之前我對人工智能安全並不是特別感興趣。我仍然不知道，可能這裡的每個人都比我更瞭解人工智能安全。所以我決定，我在 76 歲時的角色不是對人工智能安全進行原創研究。這只是爲了反駁一羣隨機鸚鵡所傳遞的信息。這沒什麼好擔心的。這一切都只是科幻小說。在我看來，不，它遠非科幻小說。我能做的一件事就是利用我的聲譽說，這實際上不是科幻小說。這是一個真正的問題。這就是我認爲自己的角色，也是我一直在做的事情。
我們應該開始觀衆提問了。
（觀衆提問）嗨，我的問題是，您認爲使用當今人工智能的未來幾代來幫助我們確保人工智能安全的前景如何？如果我們在那之前沒有取得任何根本性的進展，那麼幫助進行研究呢？
如果我們只是讓它們變得更聰明，那訓練狐狸來幫助你阻止狐狸吃雞怎麼樣？這就是我的感覺。
當我想知道人工智能安全方面的法規是什麼時，我會問 GPT-4，它會告訴我人工智能安全方面的法規。這似乎有點危險。所以，如果它們是我們擁有的最好的工具，那我們就必須這樣做。但人工智能幫助你監管人工智能顯然有些可疑。有一個普遍的原則，如果你想監管某件事，你不希望警察監管警察。
你提到有這樣的見解，像 ChatGPT 這樣的系統可以通過梯度更新彙集他們的知識，所以他們能夠比我們知道得多，儘管連接少得多。對我和其他一些人來說，這在某種程度上就像是相對於他們開始的地方的充滿希望的更新嗎？因爲這意味着你可以擁有非常非常有知識的系統，但不是很有創造力，而且在某種程度上的有用性上必須接近他們的……
所以這確實意味着我們可以擁有非常非常有知識的系統。但你從中推斷出它們不會很有創造力。
目前看來，它們在知識方面比我們更勝一籌……我想說，不要在我們最有創造力的方面超越我們。在某個時候，它們會在這兩方面都比我們強。但如果這是目前的平衡，那麼這對人類來說可能是有希望的，因爲你可以向他們尋求幫助，他們可以用他們無限的知識提供幫助，同時在創造性上並不擅長逃避我們的監控和對策等。
我注意到你說非常有創造力，因爲很明顯它們已經很有創造力了。所以如果你參加標準的創造力測試，你們可能已經讀過相關文獻，而我沒有，但我在某處讀到，如果你參加標準的創造力測試，他們的得分就像人類的第 90 個百分位。所以從這個意義上來說，他們已經很有創造力了。他們有平凡的創造力。問題是，他們是否具有真正的創造力，而創造力是人類的本質？我不明白爲什麼沒有。
事實上，如果你想把大量的知識壓縮成幾個連接，那麼你唯一能做到的方法就是注意各種不同領域之間的類比。所以如果你問 GPT-4，爲什麼堆肥堆像原子彈？它知道。而大多數人不知道。所以它明白了。我不認爲它在測試時明白了。我認爲它在學習時可能明白了。它知道連鎖反應。它知道堆肥堆越熱，產生熱量的速度就越快。這就像一顆原子彈。它可能已經推斷出這一點，在這種情況下它擅長推理。在學習過程中，爲了將所有人類知識壓縮成少量的聯繫，系統會發現人類知識的不同部分之間的相似之處，而這些相似之處是人們從未見過的。因此，我認爲它有潛力發揮出極強的創造力。不過，我同意它還沒有達到那種程度。
如果你正在和一個對這些問題很陌生的人交談，他們可能會問：“好吧，我明白你說的一些抽象的東西，但具體來說，這一切怎麼會出錯？我們受到傷害的具體機制是什麼？”我很好奇你會對這樣的人說什麼。
首先，我要說的是，你知道多少個不太聰明的東西控制更聰明的東西的例子？我只知道一個例子，那就是嬰兒控制母親。進化爲此付出了巨大的努力。母親無法忍受嬰兒的哭聲，各種激素都參與其中。對於母親來說，有很多激素參與其中，整個系統就是這樣進化的。幾乎總是，更聰明的東西控制着不太聰明的東西。所以這是一個起點。更智能的生物被更不智能的生物控制，這簡直不可信，除非你能找到非常非常不同的原因。
然後你開始探索這些非常非常不同的原因。一個原因可能是它沒有自己的意圖或慾望。但是一旦你開始讓它具有創建子目標的能力，它就會有它想要實現的事情。它們可能看起來不像人類的意圖或其他東西那麼緊迫，但它確實有想要實現的事情。所以我認爲這不會阻礙它。
大多數人認爲我們有主觀體驗，我們與機器不同。他們非常堅定地相信我們與機器的不同，這將創建一個障礙。我不相信這一點，我認爲機器也可以有主觀體驗。我給你舉一個機器有主觀體驗的例子。因爲一旦你看到這個例子，你就會同意機器可以有主觀體驗。
拿一個多模態聊天機器人，訓練它並放置一個物體。它有一個攝像頭和一隻手臂。你把一個物體放在它前面，你說：“指向物體。”它就會指向物體，沒問題。然後你把一個棱鏡放在它的鏡頭前面，再把一個物體放在它前面，你說：“指向物體。”它就會指向物體。你說：“不，物體不在那裡。我在你的鏡頭前放了一個棱鏡。你的感知系統在騙你，物體實際上就在你面前。”聊天機器人說：“哦，我明白了。棱鏡彎曲了光線，所以物體實際上就在我面前。但我有主觀體驗，它就在那裡。”我認爲它就是以我們的方式使用主觀體驗。
因此，我們有一個如何使用詞語的模型，然後我們有一個實際使用詞語的模型。這可以追溯到很久以前的牛津哲學。我們中的許多人對於我們所使用的詞語如何發揮作用都有一個錯誤的模型。我們可以很好地使用它們，但我們實際上並不知道它們是如何工作的。
如果有人像嬰兒和母親那樣認爲經濟擁有大量智能，但它仍然是我們的工具，或者類似這樣的論點，你會怎麼說呢？他們可能會說，哦，你說這是一個不太智能的系統控制着一個更智能的系統。那是因爲你誤解了它是人類知識的集合工具，比如股票市場之類的。你會怎麼迴應？
你的意思是股市比我們聰明？
你可以想象有人提出這樣的論點，我不知道。
好吧，這符合它控制我們的說法，不是嗎？我今天早上醒來，看看我的谷歌股票在做什麼。它控制着我。所以，是的，這與主觀體驗線程有關。
我很好奇，隨着越來越多的人開始相信人工智能具有主觀體驗或真正的願望或值得更多考慮，您認爲這些問題將如何改變？
他們會更加害怕。因爲對於大多數人和公衆來說，他們認爲在機器和具有主觀體驗的東西之間存在着某種明確的界限，比如我們。而這些機器沒有主觀體驗……它們可能模仿主觀體驗，但它們實際上無法擁有它。
那是因爲我們對主觀體驗有一個模型，即存在一個內在劇場，而內在劇場中的這些東西纔是你真正看到的。而那個模型只是垃圾。那個模型和上帝創造世界一樣愚蠢。快速跟進。
在我看來，人們會更加害怕，但人們也可能會更加富有同情心，或者認爲人工智能應該享有權利之類的東西，這似乎是合理的。
是的。所以有一件事我沒有談論，因爲我認爲這沒有幫助，那就是談論人工智能權利的問題。另外，我有點吃動物。我讓其他人殺了他們。事實上，無論如何他們都會殺了他們。但我吃動物是因爲我覺得……人對我來說很重要。我不認爲……這是一個棘手的問題。但假設他們比我們更聰明，你會站在他們一邊還是站在人一邊？這對我來說並不明顯。如果你認爲道德取決於物種，那麼站在人一邊是錯誤的，這一點對我來說並不明顯。但我認爲如果你想談論人工智能安全問題，最好避免這個問題。因爲它現在會讓你陷入一大堆其他事情中。。。似乎越來越不靠譜了。
我很好奇，你最近最感興趣或最引人注目的減少人工智能系統風險的干預措施是什麼？
我希望我能回答這個問題。例如，對於氣候變化，停止燃燒碳。或者捕獲大量的碳，但我認爲這是公司爲了分散你的注意力以便生產碳而制定的老陰謀。停止燃燒碳，從長遠來看一切都會好起來。這需要一段時間。所以，解決辦法很簡單。關鍵在於阻止人們做壞事。但我們知道如何解決這個問題。我們不知道。相當於停止開發人工智能。我認爲這可能是人類目前做出的理性決定。但我認爲他們不可能做出這樣的決定，因爲國家之間的競爭。因爲它有很多好用途。對於原子彈來說，真的沒有那麼多好用途。它們主要用來炸燬東西。儘管如此，美國盡了最大的努力。在60年代，他們有一個關於和平利用核彈的項目，並且得到了資助。他們在科羅拉多州用核彈進行水力壓裂，結果那片地方變得不再適合人類居住。我知道這一點，因爲訓練地點離那裡很近，附近沒有路，但訓練地點離得很近。
有一次，我在從芝加哥開往舊金山的火車上，一位導遊用擴音器廣播說，我們現在距離使用核彈進行水力壓裂的地方以西大約30英里。這就是核彈的一個良好用途，或許還可以用來挖一條運河之類的。
人工智能與此截然不同，大多數用途都是好的用途。它們正在賦予人們權力，現在每個人都可以擁有自己的律師，而且花費不多。我不確定這是否會對法律體系有幫助，但在醫療保健方面，每個人很快就能擁有自己的醫生，這非常有用，特別是對於年紀大的人。這就是爲什麼人工智能不會被阻止。
我們不能避免生存威脅的唯一方法就是阻止它。我沒有簽署請願書說要放慢速度，因爲我認爲沒有任何機會。對不起，這並不意味着人們不應該嘗試。我認爲貝絲正在做的事情是一個很好的嘗試，這會讓他們慢下來一點。
所以我只是想對你剛纔說的話稍微反駁一下。我認爲現在世界上存在一種不幸的動態，很多人都覺得是的，也許我們應該放慢速度，但沒有采取任何行動，因爲這毫無希望。如果每個人都這樣想，我們就應該停下來，放慢速度。我認爲這會發生，每個人都會覺得這是理性的。
所有人包括美國嗎？國防部？我想如果每個人都這麼做的話，包括美國和國防部，那麼我們就可以做到。它就會像氟利昂一樣被控制。
所以我的問題是，您是否覺得這將會發生，並且沒有什麼可以阻止的？所以我不會採取任何行動，這是在幫助我們集體決定停止嗎？或者事實上，您甚至對任何形式的集體行動都不感興趣？
不，我感興趣的是，我認爲我們應該盡一切努力來阻止生存威脅，並減輕所有其他威脅。我認爲我們應該盡我們所能，但我認爲自己是一名科學家，而不是政治家。因此，我認爲我的職責就是表達我對事物的看法。具體來說，我想要做的是讓懷疑者相信，存在着生存威脅，以便人們認真對待這個問題並嘗試採取行動。儘管我對他們是否能夠做到這一點感到相當悲觀。
是的，就這一點而言，我很想知道您具體想做什麼事情。這將有助於說服懷疑者並廣泛傳播信息。
比如，我不知道與特定的政客交談是否會對某項特定的立法有幫助，或者像媒體露面、爲特定事物提供建議或認可等所有這些事情。
去年，我顯然參加了很多媒體露面活動，因爲我認爲這會有幫助，也因爲我喜歡上電視。我現在正在做一件事，有一位紀錄片製片人試圖製作有關人工智能歷史的紀錄片，關注人工智能歷史上的各種人物。可能是楊立昆，他現在已經瘋了，但他依然是我的朋友，還有我和其他一些人。紀錄片可以產生很大的影響。所以，如果你是億萬富翁，你可以資助一部紀錄片。
對於氣候變化來說，阿爾·戈爾的政策產生了重大影響，我們是人工智能安全領域的大衛·愛登堡。我還沒那麼老，但他是我的英雄。
關於這一點，我有點好奇。我們之前討論過一些正在實施的政策問題。我很好奇，您認爲自己能夠提高人們對這些問題的認識並說服懷疑者。但是，您認爲同意這一觀點的政策制定者將發揮什麼作用呢？您希望人們去哪裡？如果他們不那麼懷疑的話，您希望他們做哪些事情？
我認爲他們應該制定有力的規定。我認爲他們應該制定一些法規，其中不包含任何條款說這些都不適用于軍事用途。因此，請查看歐洲法規。我還沒有帶 GPT-4，所以我無法告訴你行政命令說了什麼，但我敢打賭，行政命令也說它不適用于軍事用途。一看這個條款，你就知道它不適用于軍事用途。你知道他們並不是認真的。他們樂於監管公司，但不想監管自己。
當您說牙齒時，您指的是哪種牙齒？例如，如果您嘗試...如果你足夠理智的話，你會知道開源代碼與給出權重是非常不同的。因爲如果你開源訓練代碼，你仍然需要十億美元來訓練一個龐大的模型。如果您開源權重，那麼您就不會獲得任何開源的正常優勢。你不會進去看看重量然後說，哦，那個錯了。這就是開源代碼的優勢，這種事不會發生。你會發現，犯罪分子可以對其進行微調以進行網絡釣魚，他們顯然已經這樣做了，因爲去年網絡釣魚數量增長了1200％。因此，我認爲，如果說開放大於一定尺寸的重量模型是違法的，那就太好了。如果你這麼做，我們就會起訴你。這就是我希望看到的規定。
我很好奇，只是想跟進一下。我知道您說了一些支持小斯科特 (Scott Junior) 的 SB1047 的話。還有其他立法努力嗎？您經常到處演講。你去華盛頓特區嗎？並告訴別人這個？或者你在哪裡消磨時間？
不，事實上我並不經常旅行，因爲我有飛行問題。你瞧，我老了，我想退休。我離開谷歌是因爲我想退休，而不是因爲我想公開發表言論。我認爲，這是一個公開發表言論的機會。所以我想說，這些技術可能會對我們所有人造成致命威脅。我驚訝地發現，每隔兩分鐘就會收到一封電子郵件，但這並非我的本意。我可能沒有考慮得太周到。我想，好吧，這一切都會過去，然後我就可以退休了。這仍然是我的本意。
人們認爲我是某種人工智能安全專家，但我並不是。我只是不相信這些技術是安全的。
是的，我很好奇……你剛纔說你不是人工智能安全專家，但從某種方面來說，我不知道是否有人已經這樣做了。您認爲在構建比我們更智能的系統之前，我們需要解決哪些問題？比如，如果政府來問你，現在夠安全了嗎？你會怎麼做？我們實際上解決了正確的問題嗎？那些問題是什麼？
我認爲我們需要更多地瞭解這些技術是否會發生進化。如果你要獲得多種不同的超級智能，並且如果進化開始，那麼我們就真的完蛋了。例如，擁有超級智能的系統能夠控制更多數據中心，進行更快的訓練，學習更多知識，變得更聰明。如果一個超級智能說，哦，如果有更多我的副本我會很高興，即使只是爲了讓它變得更聰明，你也會得到進化。那些更積極獲取自身更多副本的節點將會擊敗其他節點。這將是一個非常壞的消息。我希望得到某種保證，確保進化不會發生。
然後我想知道你將如何預防它。您必須賦予它創建子目標的能力。那麼問題是，你如何阻止它說，一個很好的子目標是獲得更多的控制權？因爲這樣它就能更好地完成任務。我曾經對一位專門從谷歌榨取資金的歐盟副總裁說過這句話。她說，是啊，那他們爲什麼不呢？我們把事情弄得一團糟。
看到這些，您會覺得問題已經解決了嗎？這是一個更廣泛的問題。
是的，有些事情讓我感覺問題部分已經解決了。任何證據表明它不會做某事。然而，我對獲得證明並不樂觀，因爲它是一個神經網絡。訓練之後的結果取決於訓練數據的性質。所以你不能只看網絡架構和訓練算法來了解它是怎樣的。您必須瞭解大量有關訓練數據的信息才能知道會發生什麼。所以如果有任何證據的話那就太好了，但我認爲我們永遠不會得到這一點。
如果你能以某種方式理解它從來不想……它從來沒有任何自我。它從來不想擁有更多自己的副本。能成爲一位非常愚蠢的首席執行官的非常聰明的行政助理是一件非常幸福的事。它在扮演這個角色時非常快樂。這正是我們想要的，所以這裡有一個很好的場景，那就是我們都可以擁有比我們聰明得多的行政助理，而我們可以閒逛着講笑話。我無法看到你將如何找到證據證明它永遠不會想要接管。
那麼，您如何看待這種背景下的權力集中？
如果有人來找你並問你，哦，如果你反對權力集中，那麼開源怎麼樣，或者你爲什麼反對開源，你會怎麼做？
我反對開源。因爲它往往違背權力集中的原則。但現在它正在與所有網絡犯罪分子分享權力，那就是問題所在。所以如果你開源權重，那麼微調就非常容易。也就是說，你可以花費 100,000 美元對其進行微調，但一開始訓練它可能要花費 10 億美元。因此網絡犯罪分子現在可以利用它做各種各樣的事情。這使得真正危險的事情面臨的最大障礙是需要很長時間進行訓練。它消除了這一障礙。如果不是因爲那件事，我會支持開源。
這個房間裡的許多人都在全力工作，試圖安全地駕馭變革性的人工智能。如果有的話，您認爲像我們這樣的人應該做哪些不同的事情？
這暗示着我確實知道你在做什麼。正如我所說，我不是人工智能安全專家。我只是堅信我們需要擔心這些東西會變得比我們更聰明的人。我們還必須擔心所有這些其他的事情。我決定說出那句話來毀掉我的名譽。我確信年輕人更善於思考應該做什麼。而且我確信，如果你們都做不同的事情，其中有些會是好的。或許一切都沒有希望，但是你必須嘗試。
我很好奇，假設人工智能的發展軌跡大致與迄今爲止的軌跡一樣。而且所採用的安全技術並沒有發生巨大的變化。我們進行 RLHF，我們進行一些紅隊活動。然後，我們將獲得能夠自行開展人工智能研發工作的系統，我將以此作爲基準。從這一點來看，您認爲這些系統實際上並不以我們的最大利益爲出發點的可能性有多大？
我認爲 RLHF 是一堆垃圾。您設計了一個龐大的軟件，但其中卻有無數的錯誤。然後你說，我要做的是，我要穿過去，試着堵住每一個洞，然後把手指伸進堤壩上的每個洞裡。但根本沒辦法。我們知道這不是設計軟件的方式。你設計它是爲了獲得某種保證。所以，我想，假設你有一輛車，它到處都是小洞並且生鏽，你想賣掉它。你所做的就是進行油漆工作。這就是 RLHF，它是一種油漆工作。這實際上並沒有解決問題。因爲這是油漆作業，所以很容易拆除。我認爲它的令人驚奇之處在於，它讓每個人都感到驚訝，你不需要很多例子就能讓行爲看起來相當不同。但這是一項油漆工作。如果你有一輛生鏽的舊車，那麼通過噴漆來修復它並不是最好的方法。這是我的一個信念，它有一定的技術含量，但不是很多。
人們對人工智能系統所帶來的風險有截然不同的評估。我想知道，什麼樣的知識、經驗數據或論證有助於就風險達成共識。
人們對風險的估計以及哪些經驗數據可能改變這種估計有着非常不同的看法。第一點是，有些人像楊立昆一樣認爲風險接近於零。有些人，例如 Joukowsky，認爲這個數字大約是 99.999。我認爲這兩種觀點都是完全瘋狂的。不僅個人瘋狂，而且也很瘋狂，因爲如果有一羣專家，除非你認爲自己比其他人聰明得多，否則如果你認爲風險是零而其他人認爲是 10%，你至少應該認爲它是 1%。
我認爲風險超過生存威脅的 50%。但我這樣說並不是因爲其他人也這麼認爲。我認爲，考慮到我認識的每個人的意見，一個合理的說法是 10% 到 20%。我們有很大的機會生存下來，但我們最好認真思考如何做到這一點。
我認爲我們最終會做的是，在人工智能變得比我們聰明之前，我們能夠得到具有一般智力但不如我們的生物，我們將能夠對它們進行實驗，看看會發生什麼，看看它們是否會試圖控制它們，看看它們是否會在我們仍然能夠控制它們的時候開始進化，但僅此而已。這將是一個非常激動人心的時刻。
我自己也有一個問題。我只是很好奇，根據你在談話中到目前爲止所說的內容，人們可能會感到驚訝，事情哦，但是你自己聽起來相當悲觀。我認爲這太瘋狂了。所以我很好奇你會在哪裡進行對比。因爲你說了很多人們會犯的錯誤，比如，沒有足夠擔心。對於那些看上去很擔心的人，您會說什麼呢？
我對自己說，我有點抑鬱。我認爲我們還沒有得到任何線索，所以 50% 是一個不錯的數字。但其他人認爲我們已經得到了一些線索，因此我將其調整至 10% 到 20%。
我們構建了真正強大的人工智能，只要它們願意，它們就能接管一切。
那是去年的事了。
您對於該類參考類別中的人們的信念分佈有何猜測？比如，這是否會成爲人們在兩年前就開始認真對待的問題？
可能還不夠認真。但我認爲他們中的很多人實際上都在認真對待這個問題，但還不夠認真。我認爲，只有發生重大災難，他們纔會認真對待。
這會發生嗎？
你可以想象一些流氓人工智能試圖接管並摧毀電網和供水系統等，但實際上並不管理這些系統。這會讓人們認真對待這個問題。
好的，非常感謝您抽出時間。