京東AI總裁周伯文對話斯坦福教授Christopher Manning

本站智能訊 11月1日消息，10月31日，北京智源人工智能研究院將在國家會議中心召開北京智源大會（BAAI Conference），會議將彙集幾十位國際頂尖AI學者和專家，共同探討AI最新的學術進展和產業趨勢，並展示AI科研、產業的最新成果。科技部副部長李萌、北京市副市長殷勇出席開幕式並致辭。北京市科學技術委員會、北京市經濟和信息化局、海淀區政府、朝陽區政府等部門相關領導出席了大會。

科技部副部長李萌

北京市副市長殷勇

本次大會包括中國科學院院士、智源研究院學術委員會主席張鈸，圖靈獎獲得者、智源研究院學術委員會委員John E. Hopcroft，中國工程院院士、智源研究院學術委員會委員高文，加州大學伯克利分校教授、智源研究院學術委員會委員Michael I. Jordan，京東集團副總裁兼京東人工智能事業部總裁，京東人工智能研究院院長，智源-京東聯合實驗室主任周伯文博士，加州大學洛杉磯分校教授、智源研究院學術委員會委員朱鬆純，斯坦福人工智能實驗室（SAIL）負責人Christopher Manning，中國工程院院士戴瓊海，清華大學類腦計算研究中心主任施路平，香港科技大學教授、IEEE Fellow楊強，伊利諾伊大學香檳分校（UIUC）計算機系教授翟成祥，哈佛大學統計系教授、美國國家科學院院士、現任清華大學丘成桐數學科學中心教授Donald B. Rubin，以及康奈爾大學計算機科學系及信息科學系教授、SVM-Light、SVM-Rank作者Thorsten Joachims等專家學者將出席大會。

周伯文博士與Christopher Manning教授展開尖峰對話

此次大會還邀請到了全球深度學習自然語言處理（NLP）領軍人、斯坦福人工智能實驗室（SAIL）負責人、斯坦福教授Christopher Manning參加，並與京東集團副總裁兼京東人工智能事業部總裁，京東人工智能研究院院長，智源-京東聯合實驗室主任周伯文博士在開幕式上就人工智能前沿技術發展、NLP領域的產業融合等內容展開尖峰對話。現場Christopher Manning教授還受聘成爲北京智源-京東跨媒體對話智能聯合實驗室的專家顧問。

Christopher Manning教授受聘成爲北京智源-京東跨媒體對話智能聯合實驗室專家顧問

以下爲對話實錄(翻譯自現場英文對話實錄)：

周伯文：謝謝！非常開心有機會和Chris Manning在這個會場進行對話，因爲我們的對話會比較偏學術，所以大家不介意的話，我後面會全程開始用英文，這樣跟Chris Manning也比較好地去交流。

【轉向Chris】首先歡迎您來到北京。

Christopher Manning：謝謝您，我很高興能夠來到這裡。

周伯文：我們的對話是比較偏向學術和研究的，讓我們直奔主題吧。爲了充分利用40分鐘的時間，Chris和我決定要進行一個半結構化的對話，也就是說我們的對話會分爲幾個部分。在每個部分，我們都會進行自由對話。我們對話的第一部分會談語義、語境和知識。我選擇這三個詞是因爲它是來自於Christopher 2015年在《科學》雜誌發表的文章。

第一個問題，Chris，在您的論文結論部分，你寫到 “如果語義學、語境和知識方面真正的難題、難點得到解決的話，需要在語言學和在推理方面有一些新的突破“。現在四年多已經過去了，根據我們已知的最近的NLP進展，您對四年前的闡述，現在是否要做一些調整？

Christopher Manning：這是一個非常好的問題。我的答案是確實已經出現了一些變化，但有些沒有變化。一方面，關於人工智能我的看法是，並沒有取得那麼大的進展，目前還沒有辦法使人工智能像人類那樣去建模去利用知識和語境。另外一方面，要承認在過去幾年當中取得了一定的進展，思維方式有了一些變化，在過去幾年中我們看到，去建立新的深度學習神經網絡系統，可以更好地去系統建模，這增強了我們的一些能力和知識，確實在這些方面有一些進展。

其中有一個例子，有一些傳統AI人士，他們曾表示可以通過對知識和語境來建模來解決一些指代消解的問題。有一個好的關於理解語境和知識測試任務是類似於在一個行李箱當中有一個小的雕像，然後系統去推斷出語言中的“它”指的是小雕像，而不是行李箱。現在基於深度學習系統已經在諸如此類任務上取得了一些突破，並且效果非常顯著，我也相信在接下來的五年當中，深度學習還有很多提升空間，以及更多重大的發現。

周伯文：今天早上我和Christopher Manning在聊天時，我們都覺得2014-2015年是自然語言處理領域和深度學習結合的一個轉折點。2014/2015年我在IBM Research工作，從紐約去Montreal拜訪Yoshua Bengio，Yoshua和MILA的研究者們和我們交流最新的一些研究。Yoshua和他的博士後Kyunghyun Cho(他目前是NYU的教授)特別向我介紹了他們在神經機器翻譯方面的一些最新的進展，第一次用最直接的編碼器-解碼器做翻譯。我一開始的反應是，這個機器翻譯模型有缺陷，因爲沒有明確學習對齊（alignment）詞語的重排序(reordering)問題。我和他們講了我們在統計機器翻譯中，如何利用無監督學習到的SCFG去解決這個問題。Cho當時確實說他注意到他的模型在長句翻譯上有很多問題，他會重新考慮重排序問題。他最後確實是找到了一個非常聰明的方法，是一個注意力模型。這個模型就是大家今天非常熟知的注意力機制，最終幫助神經機器翻譯達到了業界最領先的水平(state-of-the-art)。

當我們回過頭來看，注意力機制其實是一個巨大的進步。今天注意力機制不僅可以用於機器翻譯來對對齊模型建模，可以用於句法分析的結構建模，還可以用於NLP中的上下文建模，等等，可以用於很多任務中，以至於Google的Transformer論文的標題都是”Attention Is All You Need”（這篇論文的第一作者Ashish曾經作爲我的實習生和我在IBM Research一起工作過一個夏天，非常聰明的一個年輕人）。但是回到我們的話題語義、語境和知識，您是否同意”Attention Is All You Need”? 我個人認爲注意力機制是過於複雜的，爲了獲得有效的注意點，需要大量的計算能力，在不同的layer，計算multi-headed attention。對於這個問題您是怎麼看的？是否只需要注意力機制就足夠了？還是要考慮其他的方法？

Christopher Manning：我覺得我們應該開放地探尋其他的方法。注意力機制在大量語言任務中確實被證實非常有效，所以我不會投反對票。即便在我過去的一些工作中，也充分利用了注意力機制並且獲得了很好的效果。但是我不贊同只需要注意力機制，我們需要一些更復雜的計算，例如大規模的記憶力，大規模的知識，以便我們能更好的理解語言。而現有的注意力機制在這些方面做的還不夠，例如BERT只能侷限於長度爲512或者更短的句子長度，我們需要規模更大的記憶力機制去建模語言。除此之外，結合句子結構以及語言學的層次化語義合成性也是我們需要考慮的問題，我在過去幾年也有過類似的工作，例如利用樹狀結構來學習句子語義合成性表徵等。這些都是值得嘗試的不同的方向。

周伯文：如果回顧一下，您會覺得我們自然語言處理在過去十年當中最大的成果是什麼？最知名的成果是什麼？

Christopher Manning：在過去十年，基於深度神經網絡技術，我們在自然語言處理領域取得了很多舉世矚目的成就，可以關注到很多點。我覺得現在從某種程度上來講，它的起源超過十年了。在世紀之交的時候，有很多的同仁，他們就提出詞語可以用分佈式向量表徵，可以用來進行預測和建模自然語言，從而避免傳統建模方法的維數災難問題。在2013年的時候，當word2vec詞向量模型提出之後，立馬得到了廣泛的關注和應用，現在已經變成了自然語言處理領域非常基礎和流行的方法。

緊隨其後的突破就是用於序列建模的編碼器-解碼器框架(Encoder-Decoder)的提出,這一模型可以廣泛用於機器翻譯、文本生成、對話建模、甚至句法分析等大量的NLP任務。目前序列模型已經成爲了很多NLP建模中的核心方法。近2-3年，隨着Transformer+Attention模型的提出，序列模型的能力變得更加強大。

在過去18個月中，隨着一系列基於上下文的詞向量建模方法的提出(例如Elmo等)，預訓練語言模型成爲一個新的突破，特別是諸如GPT-2、BERT、RoBERTa、ERNIE等強大的預訓練語言模型的提出，證明自然語言理解其實可以通過從海量無監督文本中通過自學習得到，並且在一系列複雜的NLP任務中取得非常好的效果。

上面提到的都是深度神經網絡在自然語言處理方面的一些突破。在語音識別領域，深度神經網絡也取得了重大的突破。通過深度學習，我們可以更好的進行聲學和語言的建模，從而使語音識別技術變得實用，以至於今天人們可以在各種設備上(電腦、手機)輕鬆的使用精準的語音識別的服務。這些都要歸功於深度學習技術。

周伯文：我們知道每一個人都意識到BERT模型做出來之後，NLP會發生變化。我們會進行一些預訓練的模型，然後在下游的任務上進行Fine-Tuning的分類任務，大家都覺得這是一個重大的競爭，特別是從它帶來結果的角度上來看的確是一個突破。另外一方面，像張鈸院士等一些傑出的研究者開始提醒我們要注意到深度學習的天花板。大家害怕僅關注深度學習，不關注NLP的一些根本問題。例如BERT出來之後，Pre-train + Fine-tuning成爲了NLP任務的新範式，所有的一切NLP任務都可以簡化爲向量表徵的學習外加下游的分類任務的模式識別。大家想一下，這是不是能更好地幫助我們達成對於語義、語境、知識以及對因果等推理學習的目標？

有很多人可能關注到最近的學術界的一些辯論，最近辯論的焦點是我們能不能利用深度學習網絡模型，對因果推理進行學習呢？我覺得很多人的想法是，如果只是進行特徵工程學習的話，再加上模式識別分類，可能是不足以幫助我們追尋到的最終的目標。我們需要在不同的方向有所發展，張鈸院士這方面做了幾次非常好的學術演講，我認同他的觀點。

在這個過程中可以深挖的還有很多，因爲是非常炙手可熱的辯論話題，但是我們沒有任何一個人可以給予結論，所以我們再進行下一個環節的討論。

接下來我想問Chris，您會覺得現在對於我們NLP最具有典型性、標誌性的應用或技術是什麼？我之所以要問這個問題，是因爲您是不僅是NLP領域被應用最多的學者，您也積極活躍在其他領域。您是來自硅谷的斯坦福大學，實際上您支持了很多公司的創立，而且您有一些學生畢業後都自己在NLP和AI領域創業了，您也在一些初創公司的董事會裡。因此，我覺得這是一個很好的和您討論的話題。

標杆性技術或者應用，我先定義一下什麼叫典型性呢？必須要有幾個標準，其中第一個標準是當該應用取得了進步，大家都會馬上會覺察到這是自然語言處理的進步。第二個條件是該技術和應用本身有很大的影響力，和進行商業化的巨大前景，能夠在真實的世界當中得到大規模應用和部署，解決實際問題。這就是問您的問題，能夠分享一下您的想法嗎？

Christopher Manning：首先我給大家第一個是建議，第二個再給大家回答。從某種程度上來講即便到今天，哪種技術通過多年的自然語言處理、機器學習、深度學習受益其中，然後技術解決了問題，取得了足夠的進步。我會認爲也許是機器翻譯，在最近幾年當中在我們的神經機器翻譯過程中取得了很大的長足進步，所以我們看到了很喜人、非常明顯的進步。比如說在之前以前是統計機器翻譯，它的能力也得到了加強。好像有一些廉價的翻譯系統，包括搜索引擎，都可以走進尋常百姓家庭，還有包括在2010年有全新的系統，我們將會用很多神經機器翻譯和序列系統，並且把Transformer模型拿過來用。在這個過程中，發現機器翻譯質量不斷提高。

從質量角度來說，機器翻譯是非常好的晴雨表來衡量行業中的技術發展變革。但是從它對社會產生影響的角度來講，機器翻譯影響社會的能力是有限的。比如說您在異國他鄉不知道發生了什麼情況，機器翻譯會幫助您，而且它可能對商業產生積極影響。如果在日常生活過程當中，大多數人其實不需要機器翻譯。從這個角度上來說，我會覺得有更好的答案，我們現在很多人都非常關注我們怎樣能夠用自然語言處理技術打造一個更好的對話的機器人呢？這種對話機器人的機制指的是您可以跟它說話，它能懂您說什麼，然後給您回答、給您找到信息。比如您想買個服務，您提出一個問題它幫您搜索、幫您回答，這是更難取得進步的領域，這個領域很難取得進步。

但是我們逐漸看到越來越好的計算機對話系統，這個領域肯定在接下來會產生很大的經濟方面的影響。能夠有一些計算機可以非常智能，能夠和人進行對話，像人的夥伴一樣。

周伯文：我想展示一下我的觀點，我們考慮自然語言處理的時候，其實包括瞭如這個PPT所示的很多層。有人會講基礎層，包括句法、語義，還有包括表徵學習等等。其他人講的是NLP的包括核心能力，括自然語言的理解，怎樣生成自然語言，怎樣對話，怎樣去做一個多模式的推理或者互動。在這核心能力之上，可以看一下有很多的NLP應用提供給大家，而它們都會產生巨大的影響，它們的影響力對社會不容小覷。

在這頁幻燈片的最上一層，今天之所以進行尖峰對話談自然語言，就是因爲我們深信不疑的一點：如果自然語言的人工智能起到我們預期作用的話，將帶來人機交互技術驅動的萬億級的市場。

當我們看自然語言處理典型的技術和發展，我會覺得中間的核心能力層實際上都是實至名歸，都應該被放在中間層。但是我自己可能會有一點偏見，我會覺得在最後兩列放在一起來看的話，形成了一個我們叫做任務導向、多輪次、多模態對話的核心技術領域，這是很大的一個挑戰。原因很簡單，當您進行對話處理的時候要取得真正的進展，必須要讓機器瞭解語義和語言，而且要了解人的常識，因爲有一些言外之意，這些知識是在語境當中沒有的。

大家可以看一下，如果作爲一個智能的對話還要具備的一個前提，就是您必須要了解到情感，必須要知道這個對話的走向是什麼，對話的目的是什麼。換而言之，多輪對話還包含了一個序列性的連續決策過程，決策每一個對話應該說什麼，如何理解，如何解釋等；像AlphaGo一樣，只不過您的規則是不明確的，而且您沒有一個明確的邊界。如果我們把多模對話加入其中，更豐富了對話的上下文，也加大了難度係數；比如怎麼從一個模態學習到的知識轉成另外一種模態的知識並進行融合，做更好的對話決策。大家想一下，從我們眼睛看到的東西轉換成機器能懂的語言和其他形式，如果把兩者結合在一起看的話，可以很好地提供底層技術包括代表學習、符號學習、語義學等等。另外一方面，會對下一代自然語言的理解有所提高。

目前我們在機器翻譯和自動問題回答的研究當中，有時後很難判斷我們是否真正在自然語言理解方面取得了進展。比如在機器翻譯方面，翻譯質量的提升更多是語言生成方面取得了進步，在原語言的理解方面實際上沒有取得那麼大的進步；但在多輪對話裡，就更難跨過理解不到位的問題，因此要逼我們研究人員真正取得進步。除此之外，不依賴於語境的自然語言生成，也是多輪對話中必須要解決的問題？所以，任務導向、多輪次、多模態對話看起來一是足夠有挑戰，二是可以驅動各個底層技術、核心能力得到真正提高，同時又具有巨大的應用場景，是我們當前最標杆性的NLP挑戰。

我同時也有數據支撐這個觀點。大概三到五年前，機器翻譯在ACL/EMNLP學術會議上是最主要的話題，最大的session room是給到機器翻譯，大於50%的觀衆都會來聽這個板塊。但是從今年來看， ACL、EMNLP對話系統和機器翻譯會有類似數量的論文出現，有60多篇論文分別來自這兩個板塊。

Christopher Manning：您講的完全正確！關於這個話題，我可以迴應的是非常多的，我這裡只分享幾點。大部分人工智能的研究人員都過多關注在個人的智能和智慧上，而忽視了對話和溝通對於人類智能的重要性。大家可以想一想人類的歷史，在出現語言之前早期的人類和大猩猩是沒有太大的區別，那個時候也可以提前做好計劃去完成一些任務。

但是這並沒有導向更多的智能，我們整個人類的進化都是在不久的過去實現的，在幾百萬年之前實際上人類是和大猩猩比較類似的，但是後來人類發展出了語言，進化就越來越迅速了，人們現在能夠建立這樣的網絡、超級計算機，是利用人類的語言來進行溝通，在不同的人類大腦之中利用語言進行溝通。

一旦有了語言之後，我們就可以去計劃一系列羣體人類的活動，我們也可以在人類之間進行知識的傳遞，這給我們帶來了非常多的益處。

早期的人類只能夠像大猩猩一樣使用一些簡單的工具，但是現在人類是有非常複雜的語言。幾千年前，在中國人們發明了文字，有了這樣的書寫系統，人們就可以把知識和信息跨時間、跨空間進行傳遞。這樣可以進行知識的儲存，就像計算機的內存一樣。有了這樣的文字系統，我們可以進行知識的傳遞，而我們現在可以用手機進行存儲，一眨眼之間我們的技術就出現了這麼大的變化。

當然這裡還有一個非常大的問題，回到我們的主題，人類的溝通是非常緩慢的，人類的溝通不像是5G的網絡那樣，不像是現在計算機網絡傳輸信息那樣快。人類之間的溝通是很慢的，但是人類的溝通速度還是可以的，也非常有效。爲什麼呢？因爲我們的溝通是不明確的，主要是取決於聆聽者是聰明的人，他必須是要有一些常識，有一些共同的理解。這樣的話我們只是說一些少量的詞，他們就可以根據語境知道我們是什麼意思。

在對話當中，我們要取得進展的話，必須要充分對於人們的常識和文本的理解進行建模，這也是人工智能的一個核心。我想在接下來的十年當中，我們要進行更好的對話的話，這樣的對話系統不僅僅需要考慮到商業的使用性，而且也是我們要去改進人工智能技術所面臨的一個核心的挑戰。

周伯文：非常好！我們達成了一個共識，這會引出我們下一個發言的主題。如果我們這裡有任務導向、多輪次、多模態對話，我們需要做一些什麼去實現這樣的目標？

Christopher Manning：我們確實還需要做大量的事情來共同實現這樣的任務，進行任務導向性、多輪、跨模態的對話，我們可以看看這個任務的三個組成部分，目前都沒有非常好的系統可以解決。實際上在現代學習的基礎當中，還是有很大改進的空間，我們要去建造基於目標的對話系統。它只適合和對話人類設計的技能相關的，必須要知道目的是什麼，我們進行手動對話狀態樹的描述，來驅動個人實現對話的目標。但是到現在爲止，我們現在還沒有建立這樣的基於深度學習的系統。

這樣的系統要了解我們的世界，要了解與之溝通的人，要去了解一個對話的局部目標。要以這樣有機對話流程當中去了解這些，並不是很容易的。要更好地去了解語境、上下文，要了解在不同的情景下人們的目標，這些都是我們所面臨的巨大挑戰。我們甚至不明確如何去實現這樣的目標，我不知道您是否有一些建議幫助實現這樣的目標？

周伯文：我們確實需要做很多的努力，我完全贊同您的說法，關於理論上的分析，算法的進步，怎麼樣去學習，怎麼樣去進行對話，我們要從這樣的語料庫當中進行對話，吸取信息進行對話是一個很大的挑戰。因爲對話系統裡面有很多組成部分，我們也不確定最好的對話架構是什麼樣的。除了這些，我們還面臨另外兩個挑戰，首先是沒有一個真正的語料庫，這樣的語料庫要模擬人和人之間的溝通，我們需要建立這樣的語料庫也讓機器去學習。基於目標導向的對話很重要，爲什麼呢？因爲可以相對比較清晰地去讓機器學會自動判斷這樣的對話是否是成功的，也就意味着對話是否滿足了目的，目標是否實現了。比如說AlphaGo的目標就是要去贏得圍棋的比賽，對機器學習來說，明確的目標非常重要，因爲這裡有非常多的結果，他要去了解這些參數。可能會有一些失誤，但明確的目標會幫助我們把錯誤的梯度用反向傳播的方法來學習系統的參數或結構。但是在研究方面我們是缺失這樣的語料庫，也缺失一些平臺。我們需要這樣的平臺來幫助小羣體的研究人員、大學研究機構的研究人員很快可以搭建高複雜度的端到端的對話系統，並以此來研究、 驗證、比較一些具體算法、模塊提升的效果。

我想我們必須要做一些事情，來去解決數據的問題和平臺的問題，使研究人員可以具有更大的創造力。我們和智源研究院建立了聯合實驗室，這也是我們要重點去做的。我們可以去共享語料庫，我們現在有這頁PPT展示的這樣的最大的多輪對話數據庫、語料庫，是開源的，京東這個對話數據比我們在這個領域當中所看到的任何一個數據庫都更大，有幾百萬個人與人的完整對話並有標註，有6000萬個語句，還有3.2億個詞，所有這些都是開源的、開放的。

我們還有一個平臺，有一些模組化的組成部分，針對一些對話的結構、語義、文本的分析等等，人們可以利用它去建造端到端的對話體系。他們可以有自己的創新，也可以對端到端的對話結果進行測評、進行測量。我希望我們現在能夠去助力整個研究界的基礎。

Christopher Manning：前面我們也談到了阻礙對話研究方面的一個重要的障礙，就是缺乏數據。這在張幻燈片中看到有很多的語料庫得到應用，主要是基於任務的對話系統，像DSTC對話、狀態追蹤。再比如機器翻譯的對比，還有問答環節等等，對於他們來說是有着非常多的數據庫可以去利用的，這樣的話他們取得了很大的進展。所有這些讓我們感到特別的震驚，非常的強大！可以推動新的發展。

確實相比其他數據集，京東的開源對話數據集已經領先了兩個數量級，而不僅僅是一階的程度，它非常強大！而且這樣的體系影響力也是極高的，當然我們要感謝京東給我們提供了這些數據，他們也召集了很多學術人員和研究人員，他們可以充分利用這些數據。以前對於學術界人士來說，在對話方面開展工作的問題，主要就是公開的對話數據是很有限的。另外一方面可以獲得一些翻譯的數據，數據是開放的，非常有用。

當然在對話方面還是有很多的挑戰，我們談到必須要有目標，也談到必須要去強化我們的學習。我們在人工智能方面，我們看到了基於遊戲的系統，比如說AlphaGo。還有在機器系統當中也學到了很多，他們都進行了深層的強化學習，這是一種非常有效的學習方式和渠道。但是這裡還有很多的挑戰，除了數據之外對於深層加強學習，在自然語言對話方面還是存在着很多的挑戰。

對話任務是非常不同的，是由於到目前爲止這樣的對話走向是非常遠的。當我們進行翻譯的時候，我們有多種方式來進行選擇、進行翻譯。但是這些選擇也是有限的，我們必須在翻譯的時候譯文和原文儘可能接近。但是當我們去看對話的時候，接下來的對話引導的方向可以是多個的。您可以問一個客戶他們在哪裡經營，也可以問他們，他們的問題是什麼。當有了問題之後可以馬上提出解決方案嘗試一下，對話接下來引導的方向是非常多的，即使我們有了海量的數據，我們要去這些對話接下來的走向也是具有很大的挑戰。因此，我們必須要對這樣的強化對話、學習來開展進一步的工作。

除了缺乏數據之外還存在着很多的挑戰，在過去的幾年當中也談到了語言學習，談到了我們應該在強化學習語境當中有更多通用的行爲和能力。

周伯文：確實我們有了非常多的數據，但是要充分利用這些數據。現在我們有非常多的語句數據，希望AI系統在這些語料庫當中進行學習，我期望通過強化學習的訓練，這些數據也可以幫助進行機器間的模擬對話，以便能夠生成更多的數據，這樣他們可以進行更好的訓練，以及這樣的迭代。

以上這些就是我們對話環節的內容。我還想在這裡代表整個NLP領域想問Chris一些問題。爲準備我們的對話，我們還從自然語言處理研究者的社區裡公開收集了希望Chris和我討論的問題，其中下面這個問題是一個非常有代表性的問題，也是NLP工作者非常想問您的一個問題。

深度學習利用大數據去解決NLP任務取得了很多的進展，但是對於無資源或者少資源的NLP任務，我們應該怎麼去做呢？有什麼技術突破的方向嗎？

Christopher Manning：確實大數據源是非常友好的，在深度學習方面起到了很大的推動作用，有很多的案例。我們看到深度學習取得了長足的進展，比如說機器翻譯、AlphaGo等等。在這些領域當中，探索利用了大量的數據。我想我們現在開始看到了一些發展，他們可以利用一些小量的數據取得進展。比如說預訓練的流程，比如說對BERT進行培訓，我們可以有很多的數據就一個任務來進行預訓練(Pre-Train)，或者去了解了語言和通用的語義之後，接下來可以讓他們去利用一些小量的數據做微調(Fine-Tuning)從而完成一些任務。

在小數據的應用方面，我們也看到了一些成功。人們可以從一種語言向另外一種語言進行支持的預測，有一些非常好的語義的表徵可以進行跨語言的映射。比如說谷歌有多語言翻譯的體系，他們可以很好地去預測語言之間的狀況，對不同的語言進行預測。我們現在不斷地改善深度學習，可以讓他們在少量數據下取得進展。

還有其他的一些想法，在NLP當中進行了部署，尤其是像利用基於字和詞塊(word piece)的模型，還有通用的深度學習，比如說正則化的分類模型等等，所有的這些都可以幫助只有少量數據的任務取得進展。

周伯文：我們的時間已經到了。所以我就不在這個問題上展開了。很快接下來進入到對話的最後一部分，現在大家都知道我們和智源要建立一個聯合實驗室，我們是要去推動任務導向、多輪次、多模態對話。Chris，我能看出您眼裡的光，當我們談論這些話題的時候，也能感受到您對這個研究方向的熱情。所以我有一個提案，我們可以聘請您做我們聯合實驗室的學術顧問嗎？

Christopher Manning：當然可以！我很高興！