安全政策再遭質(zhì)疑!OpenAI解散AGI籌備團隊,主管離職
來源:華爾街見聞
媒體報道,AI領頭羊OpenAI正在解散其“AGI(通用人工智能)籌備”團隊,團隊主管將離職,希望在外部繼續(xù)該領域的研究。
OpenAI的AGI籌備團隊負責建議公司如何處理越來越強大的AI技術,以及當今世界是否準備好管理這些技術。CNBC報道,OpenAI的AGI籌備團隊負責人Miles Brundage在周三通過Substack發(fā)布的帖子中宣布了這一消息,并表示他將離職。
Brundage表示,他離職的主要原因是機會成本變得太高,他認為在外部進行研究會更具影響力,并且他希望減少偏見。他還表示,OpenAI及世界在AGI籌備方面“尚未準備好”。而Brundage計劃創(chuàng)建自己的非營利組織,或者加入現(xiàn)有的組織,專注于AI政策研究和倡導。他補充說,
“AI不太可能在沒有共同努力確保其安全和有益的情況下達到最佳狀態(tài)?!?/p>
根據(jù)帖子內(nèi)容,原AGI準備團隊的成員將被重新分配到其他團隊。
OpenAI發(fā)言人向媒體表示:
“我們完全支持Brundage決定在業(yè)界之外繼續(xù)他的政策研究,并對他所做的貢獻深表感謝。他全身心投入AI政策獨立研究的計劃,讓他有機會在更大范圍內(nèi)產(chǎn)生影響,我們期待從他的工作中學習并看到其影響。在他的新角色中,我們相信他將繼續(xù)提升行業(yè)和政府制定政策的質(zhì)量?!?/p>
今年5月,OpenAI決定解散其剛剛成立一年的“超級對齊”團隊(Superalignment team),該團隊專注于AI的長期風險。
正值公司改組、高層動蕩之際
AGI準備團隊的解散消息也正值OpenAI董事會可能計劃將公司重組為營利性企業(yè)之際。上個月,包括該公司首席技術官Mira Murati、研究主管Bob McGrew和研究副總裁Barret Zoph在內(nèi)的三位高管宣布同日離職。
今年10月初,OpenAI完成了一輪估值1570億美元的融資,其中包括從多家投資公司和大科技公司籌集的66億美元。公司還獲得了一筆40億美元的循環(huán)信貸額度,使其總流動資金超過100億美元。公司預計今年的收入將達到37億美元,但虧損約為50億美元。
今年9月,OpenAI宣布,該公司在5月份成立的“安全與安保委員會”(Safety and Security Committee)將成為一個獨立的董事會監(jiān)督委員會。該委員會最近結束了為期90天的審查,評估了OpenAI的流程和保障措施,并向董事會提出了建議,這些建議還在公司博客中公開發(fā)布。
AI安全問題的處理遭質(zhì)疑
目前,有關OpenAI安全問題以及相關爭議的關注度越來越高。今年夏天,OpenAI、谷歌、微軟、Meta等公司在生成式AI領域激烈競爭,目前預計這一市場在未來十年內(nèi)將產(chǎn)生超過1萬億美元的收入。
今年7月,OpenAI將其頂級安全高管之一Aleksander Madry調(diào)整崗位,讓他專注于AI推理的工作。Madry曾是OpenAI的“AI風險預防小組”籌備團隊負責人,該團隊的任務是“跟蹤、評估、預測并幫助防范與前沿AI模型相關的災難性風險”。
而在6月,一名民主黨聯(lián)邦參議員致信OpenAI首席執(zhí)行官Sam Altman發(fā)送信函,詢問OpenAI如何應對新出現(xiàn)的安全問題。信中提到:
“我們希望了解更多關于OpenAI為履行其在安全方面的公開承諾所采取的步驟,公司如何在內(nèi)部評估其對這些承諾的進展情況,以及公司如何識別和減輕網(wǎng)絡安全威脅的額外信息?!?/p>
微軟于7月放棄了其在OpenAI董事會的觀察席位,并對媒體表示,由于對OpenAI的董事會構成感到滿意,微軟決定退位。此前,OpenAI董事會經(jīng)歷了一次重組,這次變動導致Altman短暫被罷免,同時也威脅到了微軟對OpenAI的大量投資。
但在今年6月,一群現(xiàn)任和前任OpenAI員工發(fā)布了一封公開信,表達了對人工智能行業(yè)快速發(fā)展的擔憂,特別是在缺乏有效監(jiān)督和沒有“吹哨人”保護機制的情況下。信中寫道:
“AI公司有強大的財務動機來避免有效的監(jiān)督,我們不相信為此更改的公司治理結構足以改變現(xiàn)狀?!?/p>
而在信件發(fā)布幾天后,一位知情人士向媒體證實,美國聯(lián)邦貿(mào)易委員會(FTC)和司法部正準備對OpenAI、微軟和英偉達展開反壟斷調(diào)查,重點關注這些公司的行為。
內(nèi)部人士批評:過于追求產(chǎn)品 對AI風險披露不足
這些員工在6月的信件中還寫道,AI公司擁有大量非公開的信息,了解其技術的能力、已采取的安全措施的程度,以及這些技術在不同層面帶來的潛在風險。
“我們也意識到這些技術帶來的嚴重風險,但AI公司目前僅對政府有微弱的分享義務,幾乎沒有義務與公眾分享這些信息。我們不認為AI公司能夠自愿分享這些信息?!?/p>
OpenAI于去年成立的“超級對齊”團隊,專注于“科學和技術突破,以引導和控制比人類更智能的AI系統(tǒng)”。該團隊在5月份被解散,領導人Ilya Sutskever和Jan Leike宣布離職。Leike在X上發(fā)帖稱,OpenAI的“安全文化和流程,已經(jīng)讓位于光鮮的產(chǎn)品”。
Altman當時在X上表示,看到Leike離開感到難過,并承認OpenAI還有很多工作要做。不久之后,OpenAI聯(lián)合創(chuàng)始人Greg Brockman在X上發(fā)表了一份聲明,強調(diào)公司已經(jīng)“提高了對AGI風險和機遇的認識,以便世界能夠更好地為此做好準備”。
Leike當時在X上寫道:“我加入OpenAI,是因為我認為OpenAI是世界上進行這類研究的最佳場所。”然而,他表示自己與公司領導層在核心優(yōu)先事項上存在分歧,最終不得不分道揚鑣。Leike認為,公司應該更多地關注安全、監(jiān)控、風險應對工作以及對社會的影響。
他表示:
AI教父:Altman更關心利潤,而不是安全
質(zhì)疑OpenAI安全政策的不只是政府和內(nèi)部人士。華爾街見聞此前文章稱,2024諾貝爾物理學獎獲得者、“AI教父”Geoffrey Hinton在獲獎后接受多倫多大學校長Meric Gertler采訪時表示,Altman更關心利潤,而不是安全,AI技術如果不加以控制可能會帶來災難性的后果。馬斯克此前也表示,不希望世界上最強大的AI被不值得信賴的人控制。
作為“AI教父”,Hinton最廣為人知的學生之一是前OpenAI聯(lián)合創(chuàng)始人兼首席科學家Ilya Sutskever,他于去年11月領導公司董事會解雇了Altman,但隨后又迅速重新聘用Altman成為公司CEO。Hinton表示:
“我的學生之一,Ilya Sutskever曾是OpenAI的首席科學家。隨著時間的推移,事實證明,Altman更關心利潤,而不是安全。”
“我非常幸運,有很多非常聰明的學生,他們比我優(yōu)秀得多。他們后來都做了偉大的事情。我特別為我的一個學生解雇了Sam Altman而感到自豪。”
近年來,Hinton一直在警告,如果不加以控制,AI系統(tǒng)可能會帶來災難性的后果。
事實上,不止是Hinton,越來越的人也開始表達對Altman行為的不滿。近日,馬斯克也表示,他“不希望世界上最強大的AI被不值得信賴的人控制。”
馬斯克在接受媒體人Tucker Carlson采訪時表示,他不信任OpenAI或Sam Altman。
“OpenAI原本是一個開源公司,但現(xiàn)在不是了,并且正在實現(xiàn)利潤最大化。
顯然Sam Altman會得到100億美元股票或類似的東西,所以我不信任他,我認為我們不想讓世界上最強大的AI被一個不值得信任的人控制。”
海安網(wǎng)站優(yōu)化,提升網(wǎng)站排名,助力企業(yè)騰飛
下一篇東陽網(wǎng)站優(yōu)化的重要性與策略,東陽網(wǎng)站優(yōu)化的必要性及策略分析
相關文章
最新評論