姚班斯隆獎馬騰宇創業：大模型+顧問李飛飛

清華姚班校友、斯坦福助理教授馬騰宇，正式宣佈大模型創業！

馬騰宇透露，他帶領團隊打造了目前最好的嵌入模型，比OpenAI的還要好。

此外，還會提供專注於某個領域或企業的定製化模型。

馬騰宇將這個項目命名爲Voyage，是針對RAG（檢索增強生成）專門優化的嵌入模型。

根據Voyage官網顯示，斯坦福人工智能實驗室主任Christopher Manning、AI領域著名華人學者李飛飛等三名教授都擔任了Voyage的學術顧問。

Voyage最重要的特點就是高檢索精度，在HuggingFace提出的MTEB數據集上的評分超過了OpenAI，成爲SOTA。

Voyage還與知名開源框架LangChain合作，同時提高了其聊天機器人的檢索和回覆質量。

對於嵌入模型，有人評價到與大語言模型相比“需要的算力、數據和行業經驗都少的多”，似乎是個創業的好方向。

Voyage具體是什麼樣的產品，下面就來了解一下。

在ChatPDF等RAG應用中，嵌入模型（Embedding Model）負責將文本向量化的環節。

嵌入模型與生成式模型有一定相似之處，但更加側重於語義理解，通過神經網絡（通常是Transformer）架構來對語義上下文進行捕獲和壓縮。

難度上，訓練嵌入模型和生成式模型一樣困難——訓練高質量的嵌入模型需要在架構、數據、損失函數等許多方面進行反覆實驗。

Voyage團隊介紹，他們選擇創業的一個重要原因是認爲業界對嵌入模型的重視程度遠遠不夠。

他們用了5年時間，收集了海量訓練數據和預/後處理方法，最終打造出了這款SOTA的嵌入模型。

測試成績方面，Voyage在常用於測試嵌入模型的MTEB數據集中取得了SOTA的成績，比OpenAI高了0.5個百分點。

在工業領域數據集上，Voyage相對OpenAI的優勢就更加明顯了。

不過Voyage的通告中也說，MTEB這個數據集因爲應用過於廣泛，有時會被拿來專門訓練。

在承諾沒有在MTEB上“作弊”的同時，Voyage還提出了9個“真實世界”數據集，內容涵蓋了技術文檔、新聞，甚至是餐館評價等多個方面。

結果在這9個數據集上，Voyage全部取得了最好成績，其中還有幾項取得了碾壓式的結果。

技術上，Voyage使用了全新的自監督損失函數，以及涉及多個領域、針對RAG和搜索量身定做的訓練數據。

同時，Voyage還採用了新的微調技術，無需人類標註就能完成。

使用方式上，可以通過API或者安裝Python庫來調用，窗口長度爲4096token。

目前，Voyage推出了標準版和輕量版兩個版本，未來還將推出XL規模以及代碼和金融領域版本。

價格方面，標準版和輕量版都是每100萬token0.4美元，新用戶可以免費體驗5000次輸入（查詢或文檔）。

那麼，Voyage的創始人兼CEO馬騰宇是誰呢？

馬騰宇現任斯坦福大學助理教授，研究方向包括機器學習、算法等多項內容。

2008年，馬騰宇被保送進入清華姚班，和陳丹琦是同班同學。

馬騰宇博士就讀於普林斯頓大學，導師是理論計算機科學家、兩屆哥德爾獎得主Sanjeev Arora教授。

讀博期間，馬騰宇獲得了理論計算機方向的西蒙斯獎等諸多獎項，被導師誇讚“比自己還聰明”。

博士畢業後，MIT、哈佛、斯坦福等頂尖高校都給了他助理教授的Offer，馬騰宇最終選擇了斯坦福。

2021年，馬騰宇獲得了具有“諾獎風向標”之稱的斯隆獎，成爲繼鬲融之後清華姚班又一名獲此獎項的校友。

參考鏈接：https://blog.voyageai.com/2023/10/29/voyage-embeddings/