萬字長文|論文問世7年改變世界，八名谷歌員工發明了現代AI，這裡是幕後故事

3月21日消息，在當前人工智能熱潮中，“轉換器”（Transformer）已成爲大語言模型和ChatGPT的核心基石。這項技術起源於2017年，由谷歌的八名員工發表的論文《你所需要的是注意力》（Attention Is All You Need）。這篇論文在人工智能界引起了猶如“宇宙大爆炸”的震動，徹底轉變了技術的發展路徑。目前，這八位谷歌研究人員均已離開谷歌，或是創立了自己的公司，或是加入了新的團隊。《連線》雜誌的資深編輯史蒂文·利維（Steven Levy）爲我們揭開了轉換器誕生前後的幕後故事。

儘管轉換器模型在學術界和工業界取得了巨大的成功，但它在谷歌內部產生的影響卻相對較小。文章分析認爲，這種情況部分是因爲大公司的官僚機制和對現狀的依賴，導致谷歌未能完全發揮轉換器模型的潛能。而OpenAI等新興企業卻迅速捕捉到了這一機遇。

雖然谷歌在某些方面可能錯失了發展先機，但它作爲技術創新孵化地的角色仍然不容忽視。

以下爲翻譯全文：

2017年春，科技論文《你所需要的是注意力》（Attention Is All You Need）問世，署名八位作者，均爲谷歌研究人員，儘管其中一人當時已悄然離職。諾姆·沙澤爾（Noam Shazeer）初見論文草稿，驚見自己名列前茅，意識到自己的貢獻至關重要，他對此表示：“我從未想過這樣的問題。”

在學術圈內，作者排序向來是個敏感而微妙的問題。畢竟每個人都希望站在領導的位置，而不是被擠到後面。然而，在此項研究中，每位參與者均留下了獨特印記，爲團隊成果做出了不可或缺的貢獻。隨着論文完成在即，研究人員面臨打破貢獻者排序傳統的重要決策。他們最終選擇了一種獨特且創新的處理方式：在每位作者名字後標註星號，並在腳註明確指出，“各位作者的貢獻同等重要，名次排列完全隨機”。

論文完成之際，他們果斷地提交至一場著名的人工智能會議，其發表無疑引發了領域內的革命性變革。

臨近發表七週年之際，這篇論文已成傳奇。八位作者以神經網絡爲基準，打造出前所未有的強大數字系統，其精確程度令人讚歎，彷彿出自外星智能。這種革命性架構，稱爲“轉換器（transformer）”，成爲了諸多令人稱奇的人工智能產品的秘密武器，包括ChatGPT、Dall-E及Midjourney等圖像生成器。

沙澤爾回憶這段歷程，戲稱若早知論文會如此盛名，他“或許會更加糾結於作者排序”。如今，這八位作者已成爲業界知名人士。排名第五的利昂·瓊斯（Llion Jones）笑言：“甚至有人找我合影，只因我的名字出現在了這篇論文中！”

傑弗裡·辛頓（GeoffreyHinton），儘管未參與此論文，卻是人工智能領域的傑出科學家之一，他高度評價轉換器的重要性：“若無轉換器，今日之成就不復存在。”他認爲，OpenAI及其他公司構建的系統，已能生成可與人類媲美乃至超越人類極限的輸出，標誌着技術的顛覆性進步。

如今，這篇論文的八位作者都已經離開了谷歌，各奔前程，繼續利用他們在2017年共創的系統，以不同方式影響世界。通過與所謂的“轉換器八子”（TransformerEight）深入交流，外媒試圖揭開這項突破性技術的誕生過程，他們是如何集合人類的思想與智慧，共創可能最終超越人類的機器？

轉換器的故事，要從八位創始作者中排名第四的雅各布·烏斯科瑞特（Jakob Uszkoreit）開始講起。

機器翻譯的改進引發AI革命

烏斯科瑞特在德國完成了大學學業，但最初並沒有打算深入研究語言學。他進入研究生階段後，開始在谷歌山景城的辦公室實習，並最終加入了谷歌的翻譯團隊，從而使他的職業軌跡發生了轉變。同時，他還負責管理家族的生意。2012年，烏斯科瑞特做出了一個關鍵性的決策——放棄攻讀博士學位，轉而加入谷歌的一個特別團隊。這個團隊負責開發一個能夠在搜索頁面直接回答用戶問題的前沿系統，而不需要將用戶引導至其他網站。

此時，蘋果公司剛剛發佈了智能助手Siri，承諾能夠在日常對話中爲用戶提供即時答案。這項創新給谷歌的高層帶來了巨大的競爭壓力，他們擔心Siri可能會分流谷歌的搜索流量。因此，谷歌開始更加重視烏斯科瑞特所在的團隊。

烏斯科瑞特後來坦言，儘管這種恐慌是不必要的——Siri並未真正對谷歌構成威脅，但他對於有機會深入研究能與人類進行某種形式對話的計算機系統而感到非常興奮。當時，所謂的循環神經網絡（recurrent neural network）開始脫穎而出，超越了其他類型的人工智能方法。這類神經網絡包含多個層級，信息在各層間傳遞，尋找最佳的響應方式。神經網絡在圖像識別等領域取得了重大突破，標誌着人工智能開始復興。

隨着這些新技術的需求增加，谷歌開始全力調整其員工結構，以期構建能夠產生類似人類反應的系統，比如自動完成電子郵件或創建簡單的客戶服務聊天機器人。

然而，循環神經網絡在處理長文本序列時面臨巨大挑戰。例如，爲了準確理解描述“Joe是一名棒球運動員，吃了一頓豐盛的早餐後，他去了公園打了會棒球”的文本，語言模型必須記住關於棒球的信息。用人類的語言來說，這就是所謂的“關注力”。爲了解決這一問題，業界提出了“長短期記憶”（LSTM，long short-term memory）模型，它允許語言模型處理更長、更復雜的文本序列。然而，計算機仍然需要嚴格按順序處理這些序列，即一個單詞一個單詞地處理，這導致它們可能會錯過文本後部的關鍵上下文線索。烏斯科瑞特對此表示：“我們當時使用的方法就像是創可貼，雖然能暫時解決問題，但無法讓正確的方案真正大規模地發揮作用。”

大約在2014年，烏斯科瑞特開始構思一種全新的方法，他稱之爲“自注意力機制”（Self-Attention），這種機制允許神經網絡通過引用文本中的其他部分信息來翻譯單詞，幫助澄清單詞的意圖，從而產生更準確的翻譯。他解釋說：“自注意力機制能夠考慮所有因素，並提供一種有效的方式，允許同時查看多個輸入，然後有選擇性地篩選出某些東西。”儘管人工智能科學家通常避免將神經網絡的工作方式與人腦的實際工作方式混爲一談，但烏斯科瑞特卻相信“自注意力”機制與人類處理語言的方式有着一定的相似性。他認爲，“自注意力”模型不僅可能比循環神經網絡更快、更有效。更重要的是，其處理信息的方式非常適合那些爲支持機器學習熱潮而設計的強大並行處理芯片。它摒棄了傳統的逐個單詞線性處理方法（即按順序查看每個單詞），轉而採用一種並行處理方式，即一次性查看多個單詞並處理。烏斯科瑞特推測，如果操作得當，“自注意力”機制可能只需一個算法，就能實現比傳統方法更出色的性能。

儘管這一想法充滿前景，但並非每個人都認爲它會顛覆世界。包括烏斯科瑞特的父親在內，儘管他已經獲得了兩項谷歌教授科研獎（Google Faculty Research Awards），但對於兒子在谷歌的工作，他持有保留態度。烏斯科瑞特回憶道：“人們對此感到驚訝，因爲它拋棄了所有現有的神經結構模式。放棄循環神經網絡？在很多人看來，這幾乎是異端邪說！從我和父親在餐桌上的討論來看，我們的看法並不總是一致。”

儘管遭遇了質疑，烏斯科瑞特還是堅定地相信自己的理念，併成功地說服了幾位同事一同進行關於“自注意力”的實驗。這些努力最終取得了顯著的成果，並在2016年發表了一篇相關的研究論文。然而，當烏斯科瑞特提議進一步推進研究，探索“自注意力”在處理更大規模文本序列上的潛力時，他的合作者們卻紛紛表示不感興趣。他們似乎更傾向於將已經學到的知識應用於實際項目上，類似於那些帶着微薄收益離開賭場的賭徒，他們對已經獲得的成果感到滿足。

烏斯科瑞特對此感到有些失望，但同時也更加堅信“自注意力”機制的巨大潛力和它在更復雜任務上的應用前景。他說：“這項技術已經被證明是有效的，它不僅被用於谷歌的搜索服務，還被應用於廣告等多個不同的領域。從很多方面來看，這是一個驚人的成功。但我不想就此止步。”

爲了推動這一理念的實現，烏斯科瑞特決定在位於谷歌園區北端查爾斯頓路的Building 1945大樓概述他的願景。

八名核心作者分四波加入

2016年的某個午後，烏斯科瑞特與伊利亞·波洛蘇欣（Illia Polosukhin）在谷歌的咖啡館偶遇，兩人在共進午餐時討論了波洛蘇欣在工作中遇到的挑戰。作爲一名在谷歌工作了近三年的科學家，波洛蘇欣被分配到了一個技術團隊，負責爲谷歌搜索領域提供直接回答用戶問題的技術支持。然而，事情進展得並不順利。波洛蘇欣解釋說：“在谷歌搜索上回答問題，你需要一種既經濟又高效的解決方案，因爲你只有幾毫秒的時間來做出反應。”

正當波洛蘇欣爲此抱怨時，烏斯科瑞特靈機一動，提出了一個可能的解決方案：“爲什麼不試試‘自注意力’機制呢？”這個建議引起了波洛蘇欣的興趣，他認爲這個想法值得一試。

同時，波洛蘇欣與阿希什·瓦斯瓦尼（Ashish Vaswani）在工作上有所交集。瓦斯瓦尼是一位在印度出生、中東長大的科學家，他在南加州大學完成了博士學位，並在該校的精英機器翻譯小組取得了卓越成就。之後，瓦斯瓦尼移居到山景城，加入了谷歌的谷歌大腦（Google Brain）團隊。瓦斯瓦尼非常看好這個團隊，認爲它是一個充滿活力和創新精神的集體，他深信神經網絡將極大地推動人類的理解力。然而，他一直在尋找一個能夠充分發揮他才華的大項目。

幸運的是，瓦斯瓦尼在Building 1945大樓工作時，偶然聽到了關於“自注意力”機制的討論，他立刻意識到這可能是他一直在尋找的那個重大項目。

因此，烏斯科瑞特、波洛蘇欣和瓦斯瓦尼開始合作，起草了《轉換器：迭代“自注意力”和處理的通用架構》這份設計文件。烏斯科瑞特透露，他們之所以選擇“轉換器”這個名字，是因爲這種機制能夠轉換接收到的信息，使系統能夠像人類一樣提取儘可能多的理解力。此外，烏斯科瑞特還分享了他童年時的美好回憶，他說：“我很小的時候就有兩個小變形金剛玩具。”他們甚至在這份設計文件的結尾附上了一幅卡通圖：六個變形金剛在山區互射激光。

然而，就在2017年初，波洛蘇欣離開了谷歌，創立了自己的公司。儘管如此，新的合作者開始陸續加入烏斯科瑞特的團隊。其中一位是妮基·帕爾瑪（Niki Parmar），在移居美國之前一直在印度的一家美國軟件公司工作。她於2015年獲得南加州大學碩士學位，並收到了多家大型科技公司的聘用邀請。最終，她選擇了谷歌，並加入了烏斯科瑞特所在的團隊，專注於改進谷歌搜索的模型變體。

另一位新成員是利昂·瓊斯（Llion Jones）他在威爾士的鄉村長大，從小就對電腦充滿興趣，因爲他覺得電腦“不正常”，總是能帶來無盡的驚喜。瓊斯在伯明翰大學選修了一門人工智能課程，從此對神經網絡產生了濃厚的興趣。2009年，他順利獲得了碩士學位，但在經濟衰退的背景下，他一度找不到工作，甚至依靠失業救濟金度過了幾個月的艱難時光。好在後來他成功加入了谷歌。

瓊斯最初是在谷歌研究中心工作，直接上司就是波洛蘇欣。一次偶然的機會，他從同事馬特·凱爾西（Mat Kelcey）那裡聽說了“自注意力”的概念，這一創新想法立刻激發了他的濃厚興趣，他毫不猶豫地加入了轉換器團隊。

隨着時間的推移，谷歌大腦的其他研究人員也開始對轉換器項目產生興趣，他們也在嘗試改進大語言模型。第三波加入的成員中，盧卡茲·凱澤（Lukasz Kaiser）和艾丹·戈麥斯（Aidan Gomez）尤爲引人注目。凱澤是一位出生在波蘭的理論計算機科學家，戈麥斯則是在加拿大安大略省的一個小村莊長大的年輕人。雖然戈麥斯最初只是以實習生的身份加入，但他很快因其才華和熱情獲得了團隊的認可。

凱澤和戈麥斯很快意識到，“自注意力”機制是極具潛力的解決方案，有望解決他們當前面臨的問題。戈麥斯表示：“經過深思熟慮的討論，我們最終決定合併這兩個項目，相信這是正確的決定。”

轉換器團隊着手構建一個基於“自注意力”機制的模型，用於語言翻譯。他們採用了名爲BLEU（雙語替換評測，bilingual evaluation understudy）的基準來衡量模型性能，這個基準通過將機器的翻譯結果與人類的翻譯進行比較。從一開始，他們的新模型就展示了非凡的性能。烏斯科瑞特興奮地表示：“我們從沒有概念證明到至少擁有了與長短期記憶網絡（LSTM）相當的東西。雖然一開始它並沒有展現出相對於LSTM的明顯優勢，但我們相信它的潛力遠不止於此。”

然而，儘管早期成果令人鼓舞，但自那以後，他們的工作一直處於停滯狀態。直到2017年的一天，諾姆·沙澤爾偶然聽說了他們的項目。沙澤爾是谷歌的一位資深員工，自2000年以來一直在谷歌工作，他參與構建了公司早期的廣告系統，是公司內部的傳奇人物。後來他在深度學習領域摸爬滾打了五年。而近年來，他對大語言模型產生了濃厚的興趣，但對這些模型在產生流暢對話方面的表現感到失望。

沙澤爾回憶，某一天他正悠閒地走在Building 1965大樓的走廊上漫步時，偶然路過凱澤的工作間，被裡面熱烈的討論聲所吸引，駐足聆聽。他回憶說：“我聽到阿希什興奮地談論使用‘自注意力’的想法，妮基也對此充滿熱情。那一刻，我心想，哇，這聽起來真是個好主意。這看起來像是一羣才華橫溢、聰明絕頂的人在做一項前景廣闊的工作。”對於當時循環神經網絡的侷限性感到不滿的沙澤爾，心中涌起了一股衝動：“讓我們去替換它們吧！”

沙澤爾的加入對項目至關重要。烏斯科瑞特解釋說：“這些理論或直覺上的機制，比如‘自注意力’，總需要經驗豐富的‘魔術師’來細心實施，才能顯現出其生命力。”沙澤爾立即開始施展他的“魔法”。他決定親自編寫轉換器項目的代碼： “我接受了他們的基本想法，然後自己動手去實現。”在這個過程中，他偶爾會向凱澤請教一些問題，但大部分時間他都是“埋頭苦幹一段時間，然後帶着成果回來，說，‘看，它有效了。’”他運用了團隊成員後來稱之爲“魔法”、“鍊金術”和“花裡胡哨”的技巧，使這個系統達到了新的高度。

戈麥斯回憶說：“這開啓了我們的衝刺模式。”隨着即將到來的最後期限——5月19日，即神經信息處理系統會議的論文提交截止日期，團隊的動力空前高漲。隨着硅谷的冬天漸漸過渡到春天，他們的實驗步伐也加快了。團隊測試了兩種轉換器模型：一個是經過12小時訓練的標準模型，另一個更強大的“Big”模型則經過了三天半的訓練。接着，他們讓這些模型開始進行英語到德語的翻譯任務。

窗簾圖案揭示轉換器巨大潛力

轉換器模型的基礎表現超出了所有人的預期，它輕鬆超越了所有對手，特別是所謂的Big模型，在展現出更高計算效率的同時，其BLEU分數更是刷新了記錄。帕瑪爾表示：“我們的處理速度超過了任何人，但這僅僅是開始，因爲BLEU分數仍在不斷攀升。”聽到這番話，烏斯科瑞特激動地立即打開了他在登山車上準備的香檳，與衆人共慶這一刻。

在截止日期的最後兩週內，團隊陷入了瘋狂的忙碌中。儘管名義上仍然需要在Building1945大樓辦公，但他們大多數人選擇轉移到Building 1965大樓工作，原因只是那裡的微型廚房裡有一臺更好的濃縮咖啡機。實習生戈麥斯投入到了瘋狂的調試工作中，同時還負責製作論文中的精美可視化資料和圖表。他回憶道：“我們嘗試了各種可能的技術和模塊組合，不斷地試驗哪些有效，哪些無效。通過不斷的迭代、快速試驗和糾錯，我們終於完成了現在所說的轉換器組件。”瓊斯也讚揚了沙澤爾在簡化工作中的關鍵作用，稱他像是一個真正的“魔法師”， 總能化繁爲簡，提煉出最精華的部分。

瓦斯瓦尼澤回憶道，有一天晚上，當團隊正埋頭撰寫論文時，他累得倒在了辦公室的沙發上。在疲憊的恍惚中，他凝視着隔斷沙發和房間其他部分的窗簾，上面的圖案給了他深刻的啓示，他覺得這些圖案彷彿大腦中的突觸和神經元，錯綜複雜卻又有序。他與在場的戈麥斯分享了這一想法，認爲他們正在研究的東西將遠遠超越機器翻譯的範疇。他激動地說：“最終，就像人腦一樣，我們需要把語音、音頻和視覺等因素統一到一個框架下。我有一種強烈的預感，我們正在探索的，是更爲廣泛、更爲深遠的東西。”

然而，在谷歌的高層看來，這可能只是又一個有趣的人工智能項目而已。當《連線》雜誌詢問項目團隊成員，他們的上司是否曾要求他們彙報項目進展時，答案是否定的。但烏斯科瑞特堅信：“我們知道這可能是一件能夠改變整個行業的大事件。這使得我們對論文的最後一句話非常着迷，那句話中我們在那裡對未來的工作進行了大膽的評論和展望。”

這句話揭示了轉換器模型未來的無限潛力——它將基本應用於所有人類表達形式。論文中寫道：“我們對基於注意力的模型的未來充滿期待。我們計劃將轉換器拓展到涉及文本以外的輸入和輸出模式的問題，並深入探討圖像、音頻和視頻等領域。”

在接近截止日期的幾個不眠之夜裡，烏斯科瑞特意識到他們需要爲這篇論文起一個響亮的標題。瓊斯也注意到，團隊已經完全放棄了那些被公認爲最佳實踐的方法，特別是長短期記憶網絡（LSTM），轉而全心投入到“自注意力”模型的研究中。靈感來自於披頭士樂隊的一首經典歌曲《你所需要的就是愛》（All You Need Is Love），瓊斯腦海中閃現出一個想法：爲什麼不將論文命名爲《你所需要的是注意力》（Attention Is All You Need）？這個標題不僅簡潔明瞭，而且富有深意，完美地契合了他們的研究成果。

在截止日期即將到來的緊張時刻，他們仍在忙碌地收集實驗結果。帕瑪爾回憶說：“在我們提交論文前的五分鐘，英語翻譯成法語的數據纔剛剛出爐。我坐在Building 1965大樓的微型廚房裡，手忙腳亂地在論文中填入最後一個數字。”在離截止時間僅剩不到兩分鐘的情況下，他們終於提交了論文。

爲何谷歌沒有最先推出GPT？

和大多數科技公司一樣，谷歌很快便爲烏斯科瑞特及其團隊的工作申請了臨時專利。這一做法並非旨在阻礙他人使用這些創新，而是出於建立自身專利庫以應對潛在專利爭議的考慮。

當轉換器團隊收到會議同行評審的反饋時，他們感受到了複雜的情緒。帕瑪爾表示：“評審反饋既有正面的，也有極爲正面的，還有一些是‘一般’。”雖然並非所有評審都給予了極高的評價，但這篇論文最終被接收，參加了一個晚上的海報展示會。

到了12月，這篇論文終於在會議上引起了轟動。12月6日的四小時展示會場內座無虛席，科學家們急切地希望瞭解更多關於轉換器模型的信息。作者們講解至聲音沙啞，直到晚上10點30分會議結束，仍有許多人不願走。“安保人員不得不勸我們離開，”烏斯科瑞特回憶說。對他而言，最滿意的時刻莫過於計算機科學家、長短期記憶網絡（LSTM）的共同發明者塞普·霍奇瑞特（Sepp Hochreiter）主動走來表示讚賞。畢竟，LSTM剛剛被轉換器模型取代。

雖然轉換器模型的潛力巨大，但它並未立即引發全球轟動，甚至在谷歌內部也未引起太多注意。凱澤回憶，論文發表時，沙澤爾曾向谷歌高層提出一個大膽的建議：放棄整個搜索索引，改爲訓練一個龐大的網絡，徹底改變谷歌組織信息的方式。這個提議當時看起來太過前衛，甚至凱澤也認爲有些荒謬。

就在轉換器論文發表後不久，初創公司OpenAI敏銳地捕捉到了其中的商機。OpenAI的首席研究員伊利亞·蘇茨凱弗（Ilya sutskever）在谷歌期間與轉換器團隊有過接觸，他迅速建議OpenAI的科學家阿列克斯·拉德福（Alex Radford）深入研究這一理念。結果，基於轉換器模型的第一個產品GPT便應運而生。OpenAI的首席執行官薩姆·奧特曼（Sam Altman）去年表示，當轉換器論文發表時，他認爲谷歌內部幾乎沒人意識到其真正的意義。

谷歌內部的實際情況更加複雜。烏斯科瑞特回憶道：“對我們來說，轉換器的潛力顯而易見，它能夠完成真正令人驚歎的事情。你可能會問，爲什麼谷歌在2018年沒有推出類似ChatGPT的產品？實際上，我們完全有可能在2019年甚至2020年推出類似GPT-3或GPT-3.5的產品。但問題的關鍵不在於我們是否看到了這個機會，而在於我們是否對所看到的採取了行動。這背後的原因複雜且難以解釋。”

許多科技行業觀察者指出，谷歌正在從一個以創新爲核心的企業轉變爲一個更注重利潤的官僚機構。戈麥斯對此深有體會：“他們缺乏改變的勇氣。但對於一家長期引領行業、獲得鉅額利潤的大公司而言，做出改變確實需要極大的勇氣。”

實際上，谷歌在2018年已經開始嘗試將轉換器模型融入其產品中，首先是在翻譯工具上的應用。同年，谷歌推出了基於轉換器的語言模型BERT，並在次年將其應用於搜索功能。然而，相較於OpenAI取得的巨大成功以及微軟大膽地將基於轉換器的系統整合進其產品線的舉措，谷歌的這些底層變革顯得相對保守和謹慎。

去年，當被問及爲何谷歌沒有率先推出類似ChatGPT的大型語言模型時，谷歌首席執行官桑達爾·皮查伊（Sundar Pichai）解釋說，在某些情況下，讓其他公司先行探索市場可能是有利的。他表示：“我並不完全確定這種做法是否總是行得通。但事實是，當人們看到其他公司如何利用這些技術後，我們有機會做得更多、更好。”

這篇論文的八位作者現已全部離開谷歌，他們憑藉在轉換器技術領域的深厚積累，紛紛創辦了各自的公司。波洛蘇欣創立的Near市值達到40億美元；帕瑪爾和瓦斯瓦尼共同創立的Adept估值爲10億美元，他們現正致力於創建第二家公司Essential AI，初期融資達800萬美元；瓊斯在東京的Sakana AI估值2億美元；沙澤爾共同創立的Character AI估值高達50億美元；戈麥斯聯合創立的Cohere估值爲22億美元；而烏斯科瑞特的生物技術公司Inception估值達3億美元。除Near外，這些公司均基於轉換器技術成立。

值得注意的是，凱澤是唯一一個沒有創立公司的人，他選擇加入了OpenAI，參與名爲Q*的神秘項目。這個項目被奧特曼描述爲能夠“揭開無知的面紗，推動探索的前沿”。

面對這些精英人才的離職，谷歌是否會感到遺憾？顯然，答案是肯定的。面對“轉換器八子”的離職原因，皮查伊坦然迴應，指出即便是行業翹楚OpenAI也面臨着人才流動的現象。他強調：“人工智能領域本就是一個充滿活力的競技場。”同時，他也自豪地表示，谷歌已經構建了一個鼓勵非傳統思維的環境。

帕瑪爾讚揚道：“谷歌在許多領域都走在時代的前沿。他們投資於卓越的人才，營造了一個允許我們自由探索和挑戰極限的環境。人們需要時間來接受新事物，這是正常的。而谷歌所承擔的風險，無疑是巨大的。”

轉換器的誕生正是在這樣一個環境中。這篇論文的作者們，都是谷歌的精英中的精英，他們在多樣化的文化背景下共同工作，日常的偶遇和午餐時的隨意交談都可能激發出創新的思想火花。這個團隊的多樣性是其成功的關鍵之一：八位作者中，有六位來自美國以外的國家。

在柏林辦公室中，烏斯科瑞特分享了他對創新的看法：“創新的關鍵在於創造適宜的條件。當人們對生活中的美好事物感到興奮，並且樂在其中的同時，還能解決一些真正重要的問題，那麼他們就是幸運的——奇蹟自然會發生。”（小小）