站在AGI的大門前，為何我們開始感到恐懼？

AGI來得太快了嗎？

誰曾想到，一場驚動整個科技圈的內斗大戲，起因竟是一封信。

據路透社透露，在Sam Altman遭解雇之前，曾有OpenAI的研究人員向該公司董事會發出舉報信，警告一種強大的人工智能可能會威脅到人類。

這是一個名為Q*（讀：Q-stard）的AI模型，知情人士表示這可能是OpenAI在AGI方向上的最新突破。

長期以來，硅谷大佬們針對“AI安全”的爭論一直沒有罷休。

或許正因如此，這項可能是下一個革命性技術的直接最新發現，才能被內部人士提前曝光。

關于新模型究竟是什么，目前能知道的信息還很少，但從OpenAI的社區留言可以看出來，大多數人對于Q*的到來并不歡迎。

什么是Q*

根據外媒的曝光，我們先來簡單介紹一下Q*。

Q*的前身是由Ilya Sutskever團隊在2021年發起的GPT-zero項目，目的是解決了合成數據的問題。

如果說此前訓練大模型的數據大多源于網絡個人數據，而GPT-zero項目可以用計算機生成的數據訓練，一下子就解決了數據來源的瓶頸。

對于AI公司們而言，數據也是一種資源。尤其是高質量的語言數據，更是直接決定大模型的質量。

在大模型混戰面前，AI公司都是將數十億參數起步，以TB為單位的數據集進行喂養。不僅數據集可能被耗盡，價格也是水漲船高。

因此當合成數據出現后，就能像永動機一樣可以無限生成高質量的數據，從而解決數據問題。

在談到GPT-zero項目，馬斯克也評論稱：“Synthetic data will exceed that by a zillion.（合成數據可以超過1ZB）”。

對比目前已有的數據，一個硬盤就能裝下（lt's a little sad that you can fit the text of every book ever written byhumans on one hard drive ）。

在GPT-zero的研究成果下，OpenAI兩位高級研究人員Jakub Pachocki 和 Szymon Sidor構建了Q*模型，

雖然目前可能水平并不高（小學生數學能力），但專業人士認為該模型能夠解決此前從未見過的數學問題。

而這又牽涉另一個技術——Q-learning算法。

這是一個經典的強化學習算法，有很強的規劃能力但不通用、不可泛化；而大模型的優勢就是近乎大模型具備了人類水平的泛化能力，又稱舉一反三。

那么將兩者合二為一后，這種既有規劃能力，又有泛化能力的大模型，已經非常接近人腦，可以自主學習和自我改進，而最終的結果：大概率可以出現自主決策，并具備輕微自我意識，成為接近超越人類的AGI。

如果報道內容屬實，我們可以設想一下，在商業化和安全性觀念分歧下，保守派代表Ilya Sutskever高調主導這次罷免Altman事件。

就在今年7月時，Ilya Sutskever就從組建了一個團隊，致力于限制AI潛在的安全威脅。

 而在Altman回歸OpenAI后，Ilya Sutskever沒能留在董事會。

圖 | Ilya Sutskever在Ted上談論AI安全

目前，OpenAI并未對Q*的報道發表回應，OpenAI究竟是不是實現了AGI，我們也只能等后續的報道。

人們在擔憂什么？

在報道發出后，OpenAI 開發者論壇的網友們開始了激烈的討論。

從幾個高贊評論可以看出來，大多人對于Q*的到來還是表現地擔憂。

不少人表示，AGI到來的速度比想象得太快，由此帶來的負面影響，甚至大于大模型本身。

這不免讓人聯想到此前硅谷大佬們針對“AI安全”的爭論——為何在新時代到來前，恐懼、不安也會開始涌現？

讓我們以最近DeepMind公布的論文作為參照。

評估一個系統是否符合AGI 的定義，需要從六個維度考慮：廣泛性和性能、自主性、持久性、遞歸性自我改進、任務自主選擇、目標驅動。

其中，單就廣泛性和性能來說，AGI的最高等級是超越人類（Superhuman AGI），即在所有任務上都能超過100%的人類。也只有這樣，才算達到了真正的AGI。

如果再對應其他維度，又可以發現AGI的發展其實會引發許多倫理和安全問題

最終在機遇面前，風險也無法避免：在一些特定領域，AGI可能會超越人類，在關鍵角色中取代人類，或進行遞歸性自我改進。一旦這樣的AGI最終實現，將徹底改變我們的社會、經濟和文化。

有意思的是，網友們對于AGI的恐怖，其實更多出于AI公司壟斷的擔憂。

從前文可以看出來，想定義AGI是一件非常復雜的事情。如果詢問不同的AI專家，或許會給出不同但有聯系的答案。

在這種情況下，想要決定某件事是否是AGI，完全是取決于AI公司的領導人。

一旦人工智能在商業化取得可行性方面，同時又能既得利益，這樣一款產品很有可能成為一種“壟斷”。

我們都知道，Sam Altman其實是一位對AI商業化特別執著的人。作為激進派的代表，Sam Altman對于AGI一直都是最積極的態度。

然而在非營利治理結構下，無論是Sam Altman，甚至微軟，一旦開始做出危險的或違背人類利益的行為，董事會都可以直接驅逐。

這也與這次事件的前期發展十分相似。

不過隨著Sam Altman回歸OpenAI并重組董事會，目前已有的三人均未獨立董事。換句話說，董事會其實無法驅逐。甚至自己都被顛覆了。

在缺少了監管后，OpenAI只剩下政府監管機構這一限制。

然而作為OpenAI背后的大金主，微軟在美國政府的AI監管對局里，一直扮演積極推進AI的角色，最終政府的監管對于OpenAI的影響也會越來越小。

在利益面前，關于Q*乃至AGI技術本身，似乎也很少有人討論了。

最后，記得關注微信公眾號：鎂客網（im2maker），更多干貨在等你！