Transformer八子的出現(xiàn)與出走，既是起勢(shì)，也是順勢(shì)。
(資料圖片)
編者按：本文來自微信公眾號(hào)硅兔賽跑（ID：sv_race），作者：椎名，編輯：Zuri，創(chuàng)業(yè)邦經(jīng)授權(quán)發(fā)布。
“One ring to rule them all”
這是電影《魔戒》中的一句經(jīng)典臺(tái)詞，用以形容一枚占據(jù)絕對(duì)統(tǒng)治地位的至尊魔戒。
通用人工智能領(lǐng)域，也曾出現(xiàn)過這樣一枚“至尊魔戒”。它的登場(chǎng)，同樣有著一個(gè)在學(xué)術(shù)圈來看違背祖訓(xùn)、驚世駭俗的論文標(biāo)題——“Attention Is All You Need”。
站在AIGC如火如荼、各種類GPT模型層出不窮的2023年回望，當(dāng)時(shí)這篇論文的標(biāo)題有多“狂妄”，這枚魔戒的影響力就有多大。且與電影中的至尊魔戒帶來徹底的毀滅不同，這枚AGI的“至尊魔戒”指向全新的創(chuàng)造。
那么，又是誰創(chuàng)造了這枚“至尊魔戒”？他們?nèi)缃裨诤畏?，是否又在醞釀著新一輪的AI風(fēng)暴？
現(xiàn)在我們都知道OpenAI開啟了GPT時(shí)代，但再往前追溯，它是站在巨人的肩膀上才能采摘下來的成果，這個(gè)巨人的肩膀就包括了2017年發(fā)表的這篇“Attention Is All You Need”。
這篇論文提出了名聲大噪的Transformer架構(gòu)，是谷歌著名算法BERT中最重要的部分，更是ChatGPT 末尾的“T”。
爾后，Transformer 勢(shì)如破竹，從自然語言處理機(jī)器翻譯開始，席卷整個(gè) NLP 領(lǐng)域。
如今6年過去，ChatGPT幾乎是Transformer結(jié)下的最豐厚的果實(shí)，而耕種了Transformer架構(gòu)的8位作者—— Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N. Gomez、Lukasz Kaiser 和 Illia Polosukhin，大多數(shù)現(xiàn)在不在谷歌工作。事實(shí)上，其中有七人不再駐足留戀于谷歌這顆蒼天大樹之下。
我們統(tǒng)計(jì)，“Transformer八子”中，“轉(zhuǎn)投小廠派”一人：Lukasz Kaiser則已在2021年加入 OpenAI擔(dān)任研究員。
Llion Jones是8人中目前唯一還在谷歌工作的，只是工作地點(diǎn)換到了日本。他曾打趣地表示，自己對(duì)論文作出了最有意義的貢獻(xiàn)，是寫下了Attention is all you need這個(gè)“大逆不道”的標(biāo)題。
Llion Jones
其中，創(chuàng)業(yè)派6人選擇了自立門戶，且基本上從谷歌一出來就已經(jīng)獲得了 VC 的支持。
本文將著重梳理“Attention Is All You Need”中創(chuàng)業(yè)派的最新動(dòng)向。
01“真實(shí)感”的保鮮期有多久？原Google Brain研究員Aidan Gomez的創(chuàng)業(yè)公司恐怕是里面最受矚目的。
Aidan Gomez
Aidan Gomez創(chuàng)辦的公司叫做Cohere，是一家成立于2019年的加拿大AI創(chuàng)企，專注于提供NLP模型，幫助企業(yè)改善人機(jī)交互，包括利用Transformer架構(gòu)快速部署對(duì)話式AI聊天機(jī)器人、生成式搜索引擎、文本摘要總結(jié)、增強(qiáng)向量搜索等。這家公司的另外兩位創(chuàng)始人Nick Frosst和Ivan Zhang，也和Aidan Gomez一樣具有學(xué)術(shù)背景，且三位創(chuàng)始人均是多倫多大學(xué)校友。
Cohere之所以備受業(yè)內(nèi)矚目，除了創(chuàng)始團(tuán)隊(duì)的背景之外，也有一部分原因在于，它的投資者中還有圖靈獎(jiǎng)獲得者Geoffrey Hinton、知名人工智能研究員李飛飛、UC伯克利大牛Pieter Abbeel的身影。這三位在當(dāng)今人工智能領(lǐng)域都是執(zhí)牛耳的人物。
這樣的大牛背書之下，Cohere的融資步伐也十分緊湊，分別于2021年9月獲得4000萬美元A輪融資，2022年2月獲得1.59億美元B輪融資。
隨著生成式浪潮在今年達(dá)到一個(gè)小高潮，今年5月，據(jù)《紐約時(shí)報(bào)》報(bào)道，Cohere更是拿到了2.5 億美元的融資，估值達(dá)到20億美元，本次投資者包括CRM領(lǐng)導(dǎo)者Salesforce、著名芯片制造商N(yùn)vidia、Inovia Capital等。《紐約時(shí)報(bào)》寫道，Cohere也是為數(shù)不多在技術(shù)層面具備與OpenAI進(jìn)行競(jìng)爭(zhēng)的AI企業(yè)之一。有報(bào)道稱Cohere現(xiàn)有員工已經(jīng)達(dá)到近200人。
與Aidan Gomez選擇的賽道類似，論文一作Ashish Vaswani在離開谷歌后，也參與創(chuàng)辦了一家將NLP技術(shù)用于通用助手的公司Adept，并任該公司首席科學(xué)家。在谷歌工作后，Vaswani撰寫了19篇論文，神經(jīng)網(wǎng)絡(luò)是他自2011年以來一直追求的共同主題。
Ashish Vaswani
Transfomer八子中的Niki Parmar也加入了Adept，任CTO。值得一提的是，Niki Parmar 是這個(gè)論文 8 位作者里唯一的女性。
Niki Parmar
Adept雖然成立較晚（2022年4月才正式成立），但也趕上了這一波AIGC的浪潮：今年3月拿到了3.5億美金的B輪融資，由General Catalyst和Spark Capital聯(lián)合領(lǐng)投，Addition、Greylock、Atlassian Ventures、Microsoft、Nvidia、Workday Ventures等機(jī)構(gòu)跟投，還有眾多的硅谷明星創(chuàng)業(yè)者作為個(gè)人投資人投資。
這輪融資將Adept的總?cè)谫Y額增至4.15億美金，公司估值超過10億美金，晉升獨(dú)角獸。
不過，Adept最新這輪融資已經(jīng)和Ashish Vaswani、Niki Parmar沒什么關(guān)系了。因?yàn)樗麄儍啥荚?022年底先后離開Adept，成立了一家名為EssentialAl的公司，目標(biāo)是為企業(yè)構(gòu)建軟件以便于他們使用大型語言模型。今年5月，EssentialAl宣布了由Thrive Capital 領(lǐng)投的800萬美元融資。值得一提的是，Thrive Capital 也是OpenAI 的投資者。該公司仍處于隱身模式，尚未推出任何產(chǎn)品。一位接近該公司的消息人士稱，Conviction 和天使投資人 Elad Gil 也參與了這輪融資。
值得一提的是，創(chuàng)業(yè)派除了上面幾位年輕面孔，也不乏已經(jīng)為谷歌效力20多年的老員工。
這位老員工就是Noam Shazeer。他在2018年開發(fā)了Mesh-Tensorflow，這是第一個(gè)用于在超級(jí)計(jì)算機(jī)上訓(xùn)練大型Transformer的實(shí)際系統(tǒng)。
Noam Shazeer
2021年，Noam Shazeer 也離開了谷歌，與前谷歌工程師 Daniel De Freitas 共同創(chuàng)立了 Character.AI，致力于開發(fā)生成式 AI 聊天機(jī)器人 Web 應(yīng)用程序。迄今為止，該公司已籌集了約 2 億美元，估值接近獨(dú)角獸，約有20名員工。
02“創(chuàng)業(yè)派”中的冒險(xiǎn)者都說創(chuàng)業(yè)是一場(chǎng)冒險(xiǎn)，那么，跨界創(chuàng)業(yè)更是冒險(xiǎn)中的冒險(xiǎn)。
Transformer八子中，Jakob Uszkoreit是當(dāng)之無愧的冒險(xiǎn)擔(dān)當(dāng)，他的創(chuàng)業(yè)去向應(yīng)該是最具跨界色彩、也是最有難度的。
Jakob Uszkoreit
Uszekoreit 被認(rèn)為是發(fā)明 Transformer 架構(gòu)的幕后推手。GoogleBrain工作期間，他組建了Google助手的語言理解團(tuán)隊(duì)，并參與了早期的Google翻譯工作。
在谷歌工作了 13 多年之后，Jakob Uszkoreit也于 2021 年離開了谷歌，他創(chuàng)立的 Inceptive，是一家徹頭徹尾的AI+生命科學(xué)公司，致力于使用神經(jīng)網(wǎng)絡(luò)+高通量實(shí)驗(yàn)來設(shè)計(jì)下一代 RNA 分子。
到目前為止，該公司已籌集了 2000 萬美元。
另一位跨界派Illia Polosukhin，幾乎是踏出了AI圈，投入到區(qū)塊鏈浪潮中。
這位硅谷著名的IT天才，是Google TensorFlow人工智能開源項(xiàng)目的主要代碼貢獻(xiàn)者，還曾任Google深度學(xué)習(xí)小組項(xiàng)目主管，帶隊(duì)負(fù)責(zé)核心搜索算法業(yè)務(wù)近10年。他在2017年2月就離開了谷歌，創(chuàng)辦了區(qū)塊鏈底層技術(shù)公司NEAR Protocol，吸引了包括a16z、 MultiCoin Capital、Metastable、Coinbase Ventures等區(qū)塊鏈領(lǐng)域的著名投資機(jī)構(gòu)。
Illia Polosukhin
這家公鏈技術(shù)公司可以托管去中心化應(yīng)用程序和智能合約，被譽(yù)為“以太坊殺手”， 目前估值約為20億美元。
03新的硅谷“八叛徒”故事？從Transformer八子目前的故事走向來看，已有些許當(dāng)年硅谷傳奇——仙童“八叛徒”的風(fēng)采。
這件往事里，“叛徒”是一個(gè)褒義詞。在晶體管剛剛問世之際，8位肖克利半導(dǎo)體實(shí)驗(yàn)室核心人物紛紛出走，先后創(chuàng)辦了仙童、英特爾和AMD等著名的半導(dǎo)體公司?？梢哉f， 1970 年前后的半導(dǎo)體浪潮中，大部分半導(dǎo)體公司都起于仙童。憑借“八叛徒”的智慧和創(chuàng)新精神不斷開枝散葉，微處理器得以普及，計(jì)算機(jī)變得更加迅速和強(qiáng)大，硅谷更是一舉成為了全球半導(dǎo)體產(chǎn)業(yè)的中心，引領(lǐng)著信息時(shí)代的浪潮。
如今這段佳話過去已近70年，硬件的突破已經(jīng)出現(xiàn)邊際效應(yīng)，新一輪的信息革命蓄勢(shì)待發(fā)，人類需要更加智能的技術(shù)來解決復(fù)雜的問題，創(chuàng)新的火種移交到AI領(lǐng)域，硅谷似乎迎來了新的八君子。
我們不難發(fā)現(xiàn)，和仙童“八叛徒”類似，“Transformer八子”本身已經(jīng)積累了豐富的經(jīng)驗(yàn)和技術(shù)知識(shí)，他們?cè)诠雀杵陂g推動(dòng)了人工智能領(lǐng)域的發(fā)展，離開谷歌進(jìn)入到各行各業(yè)中，能讓這些寶貴的資源和知識(shí)更廣泛地應(yīng)用于不同的領(lǐng)域和行業(yè)。
更重要的是，這一批離職的AI大牛，同樣具備極高的創(chuàng)造力和冒險(xiǎn)精神。
他們都曾表達(dá)過對(duì)現(xiàn)狀的不滿，追求更高的目標(biāo)和更具沖擊力的創(chuàng)造。
八子中的“創(chuàng)業(yè)派”代表Niki Parmar就曾表示，在谷歌，公司整體更注重改進(jìn)現(xiàn)有產(chǎn)品，而不是創(chuàng)建全新的產(chǎn)品類別。
無論是離開谷歌創(chuàng)辦自己的公司或加入其他創(chuàng)新型企業(yè)，他們能夠更加自由地探索和實(shí)踐新的想法和概念，從而推動(dòng)技術(shù)的不斷進(jìn)步。
而且這些AI大牛們的離職，也有助于推動(dòng)合作生態(tài)的形成。他們往往與其他優(yōu)秀的科學(xué)家、工程師和創(chuàng)業(yè)者緊密合作，共同開展創(chuàng)新項(xiàng)目和研究。這種合作生態(tài)能夠加速創(chuàng)新的過程，促進(jìn)技術(shù)和思想的交流，為整個(gè)行業(yè)帶來更多的機(jī)遇和突破。
正如八子中的另一位“創(chuàng)業(yè)派” Aidan Gomez所說：“在谷歌這樣的大公司內(nèi)部進(jìn)行探索的自由度有限，你無法真正自由地進(jìn)行產(chǎn)品創(chuàng)新。從根本上說，（這家公司的）結(jié)構(gòu)不支持它。所以你必須自己去建造這個(gè)結(jié)構(gòu)?！?/p>
這一批離開谷歌的小分隊(duì)，正在以更加自由的方式探索和發(fā)展新的技術(shù)和方法，進(jìn)一步推動(dòng)通用人工智能的進(jìn)步。
這樣來看，Transformer八子的出現(xiàn)與出走，既是起勢(shì)，或許也是某種順勢(shì)，正如當(dāng)年的仙童“八叛徒”一樣。
本文（含圖片）為合作媒體授權(quán)創(chuàng)業(yè)邦轉(zhuǎn)載，不代表創(chuàng)業(yè)邦立場(chǎng)，轉(zhuǎn)載請(qǐng)聯(lián)系原作者。如有任何疑問，請(qǐng)聯(lián)系editor@cyzone.cn。