讓人類成功過渡到一個擁有超級智能的世界，可能是有史以來最重要、最有希望、最可怕的項目。
來源丨創(chuàng)業(yè)邦（ID：ichuangyebang）
編輯丨及軼嶸
(資料圖)
近日，ChatGPT之父阿爾特曼在OpenAI官網(wǎng)發(fā)布了他對AGI（通用人工智能）的看法和未來的計劃。
阿爾特曼說，AGI可能帶來嚴重的濫用、重大事故和社會混亂的風險。OpenAI希望通過制定一些原則來確保AGI的好處最大化，并控制它的潛在風險。原則包括：
*讓AGI成為放大器，促進人類最大程度繁榮；
*確保AGI的訪問權(quán)和治理得到廣泛和公平的分享；
*通過部署功能較弱的版本來不斷學(xué)習(xí)和適應(yīng)，減少押寶“一次性成功”。
阿爾特曼說，成功過渡到一個擁有超級智能的世界可能是人類歷史上最重要、最有希望、最可怕的項目。AGI距離成功還很遙遠，但賭注之大（好處和壞處都是無限的）有望讓我們所有人團結(jié)起來。
以下是創(chuàng)業(yè)邦整理的全文，內(nèi)容經(jīng)編輯處理：
我們的使命是確保AGI（即比人類更聰明的AI系統(tǒng)）能夠造福全人類。
如果AGI得以成功創(chuàng)建，這項技術(shù)可以通過增加豐富度、賦能全球經(jīng)濟、以及助力發(fā)現(xiàn)能帶來無限可能的科學(xué)新知，來幫助人類提升能力。
AGI有賦予每個人不可思議的新能力的潛力。我們可以想象有這樣一個世界，所有人都可以獲得幾乎所有認知的幫助，為人類的才智和創(chuàng)造力提供巨大的力量倍增器（force multiplier）。
但另一方面，AGI也會產(chǎn)生嚴重的濫用、重大事故和社會混亂的風險。由于AGI對社會產(chǎn)生的價值如此之高，我們認為，永久性地終止它的發(fā)展是不可能的，也是不可取的。相反，社會和AGI的開發(fā)者必須想辦法把事情做對。
雖然我們無法準確預(yù)測會發(fā)生什么，而且目前的進展也可能會受挫，但我們可以闡明我們最關(guān)心的原則：
我們希望AGI能夠為人類在宇宙中最大程度的繁榮賦能。我們不希望未來是一個不合格的烏托邦，我們希望將好的方面最大化，將壞的方面最小化，讓AGI成為人類的放大器。
我們希望AGI的好處、訪問權(quán)和治理得到廣泛和公平的分享。
我們希望能夠成功地應(yīng)對那些巨大的風險。在面對這些風險時，我們承認，理論上看似正確的事情，在實踐中往往比預(yù)期更奇怪。我們認為，我們必須通過部署功能較差的版本來不斷學(xué)習(xí)和適應(yīng)，最大程度地減少指望獲得“一次性成功”（one shot to get it right）的情況。
短期來看為了迎接AGI，我們認為現(xiàn)在有幾件事非常重要。
第一，隨著我們不斷創(chuàng)建更強大的系統(tǒng)，我們希望部署它們，并獲得在真實世界中操作它們的經(jīng)驗。我們相信這是謹慎導(dǎo)入和管理AGI的最佳方式——逐漸過渡到AGI世界比急速過渡要好。我們期望強大的AI能夠加速世界的進步，但我們認為一個逐步適應(yīng)的過程更好。
漸進的過渡，讓民眾、政策制定者和機構(gòu)有時間了解正在發(fā)生的事情，親身體驗系統(tǒng)的好處和缺點，讓經(jīng)濟做出相應(yīng)的調(diào)整，并實施監(jiān)管。它還允許社會和AI共同進化，并允許大家在風險相對較低的情況下弄清楚自己想要什么。
目前，我們認為，成功應(yīng)對AI部署挑戰(zhàn)的最佳方法，是采用快速學(xué)習(xí)和謹慎迭代的緊密反饋循環(huán)。社會將面臨一些重大問題，包括AI系統(tǒng)被允許做什么、如何應(yīng)對偏見、如何處理工作崗位流失等。最佳決策將取決于所采用的技術(shù)路徑。與任何新領(lǐng)域一樣，目前為止大多數(shù)專家預(yù)測都是錯誤的。在真空中做規(guī)劃非常困難。
總體來說，我們認為世界更多地使用AI會帶來好處，我們希望推廣它（通過將模型放入API，將它們開源等）。我們相信，民主化的訪問權(quán)也會帶來更多和更好的研究、分散的權(quán)力、更多的益處，以及更多的人會貢獻新的想法。
隨著我們的系統(tǒng)越來越接近AGI，我們對模型的創(chuàng)建和部署變得越來越謹慎。相較于社會通常對新技術(shù)應(yīng)用的態(tài)度，以及許多用戶的希望，我們的決定更加謹慎。AI領(lǐng)域的一些人認為AGI（和后繼系統(tǒng)）的風險是虛構(gòu)的。如果結(jié)果證明他們是對的，我們會很高興，但我們會把風險當作真實的存在。
在某些時候，利弊之間的平衡可能會發(fā)生變化。比如，在發(fā)生授權(quán)惡意行為者、造成社會和經(jīng)濟破壞以及加速不安全的競賽的情況下，我們將實質(zhì)性地改變我們的部署計劃。
其次，我們正在創(chuàng)建更加一致和可控的模型。一個早期的例子是我們從GPT-3的第一個版本到InstructGPT和ChatGPT的轉(zhuǎn)變。
我們認為重要的是，社會就使用AI的極其廣泛的邊界達成共識，在這些邊界內(nèi)，個人用戶有很大的自由裁量權(quán)。我們最終的希望是全世界的機構(gòu)就這些廣泛的邊界應(yīng)該在哪里達成一致。但在短期內(nèi)，我們計劃對外部輸入進行實驗。世界上的機構(gòu)需要加強其能力和經(jīng)驗，以便為有關(guān)AGI的復(fù)雜決策做好準備。
我們產(chǎn)品的“默認設(shè)置”（default setting）可能會相當克制，但我們計劃讓用戶能夠輕松地更改他們正在使用的AI的行為。讓每個人自己做決定，觀念多樣性有巨大的內(nèi)在力量，這兩點是我們的信仰。
隨著我們的模型日益強大，我們需要開發(fā)新的對齊技術(shù)（alignment technology）。我們的短期計劃是使用AI來幫助人類評估更復(fù)雜的模型的輸出，并監(jiān)控復(fù)雜系統(tǒng)。從長遠看，使用AI來幫助我們提出新的想法，以實現(xiàn)更好的對齊技術(shù)。
重要的是，我們認為經(jīng)常需要在AI安全和能力兩方面共同進步。將它們分開討論是錯誤的二分法，因為在很多方面它們是相關(guān)的。我們最好的安全工作來自與我們最有能力的模型一起工作。換句話說，提高安全與能力進步的比率很重要。
第三，我們希望就三個關(guān)鍵問題開展全球?qū)υ挘喝绾沃卫磉@些系統(tǒng)，如何公平分配它們產(chǎn)生的收益，以及如何公平共享訪問權(quán)限。
除此之外，我們還嘗試以一種讓我們的激勵與良好結(jié)果保持一致的方式來建立我們的架構(gòu)。我們的章程中有一個條款是關(guān)于協(xié)助其它組織提高安全性，而不是在后期AGI開發(fā)中與他們競爭。我們對股東獲得的回報設(shè)定了上限，這樣我們就不會冒險和無節(jié)制地獲取價值。我們有一個非營利組織來管理我們自己，讓我們?yōu)槿祟惖睦娑?jīng)營（并且可以凌駕于任何營利利益之上），包括讓我們做一些事情，比如在安全需要的情況下，取消我們對股東的股權(quán)義務(wù)，并資助世界上最全面的UBI（Universal Basic Income，普遍基本收入）實驗。
我們試圖完善我們的架構(gòu)，以便讓激勵措施與良好結(jié)果保持一致。
我們認為在發(fā)布新系統(tǒng)之前提交獨立審計是很重要的。我們將在今年晚些時候更詳細地討論這個問題。在某些情況下，在開始訓(xùn)練未來系統(tǒng)之前獲得獨立審查可能很重要，最終，同意限制用于創(chuàng)建新模型的計算能力的增長率。我們認為一些關(guān)于AGI的公共標準很重要，包括何時應(yīng)停止訓(xùn)練、確定模型可以安全發(fā)布，或從生產(chǎn)使用中撤出模型。最后，我們認為重要的是世界主要國家的政府對超過一定規(guī)模的訓(xùn)練有洞察力。
長遠來看我們認為人類的未來應(yīng)該由人類自己來決定，而且與公眾分享進展的信息非常重要。所有試圖建立AGI的努力都應(yīng)該接受嚴格的審查，重大決策需要進行公眾咨詢。
第一個AGI將只是智能連續(xù)體上的一個點。我們認為進展很可能會從那里繼續(xù)下去，可能會在很長一段時間內(nèi)保持我們在過去十年中看到的進展速度。如果這是真的，世界可能會變得與今天截然不同，風險可能會非常大。一個錯位的超級智能AGI可能會對世界造成嚴重的傷害；一個擁有超級智能的不好的政體也會導(dǎo)致這種情況發(fā)生。
有足夠能力加速自身進步的AGI，可能會導(dǎo)致重大的變化以驚人的速度出現(xiàn)（即使過渡開始緩慢，我們預(yù)計它在最后階段也會很快發(fā)生）。我們認為慢慢起飛，安全更容易得到保證。而且，在關(guān)鍵時刻如何協(xié)調(diào)讓AGI各方共同減速可能很重要（即使在不需要這樣做來解決技術(shù)對齊問題的世界中，也要給社會足夠的時間來適應(yīng)）。
成功過渡到一個擁有超級智能的世界可能是人類歷史上最重要、最有希望、最可怕的項目。距離成功還很遙遠，但賭注之大（好處和壞處都是無限的）有望讓我們所有人團結(jié)起來。
我們可能進入一個繁榮程度無法想象的世界。我們希望為世界貢獻一個與這種繁榮相一致的通用人工智能。
原文：https://openai.com/blog/planning-for-agi-and-beyond/