研究发现,一些顶级 AI 实验室的风险管理“非常薄弱”
(SeaPRwire) – 根據一項新的研究,全球一些頂尖的 AI 實驗室的安全措施不足,而罪魁禍首是埃隆·馬斯克的 xAI。
法國非營利組織 SaferAI 在週三發布了首份評估頂尖 AI 公司風險管理實務的評級。SaferAI 創始人西蒙·坎波斯表示,這些評級的目的是為 AI 公司處理風險的方式制定明確的標準,因為這些新興系統的強大和使用範圍越來越大。AI 系統已經展現了它們的能力,例如 或 。政府在制定框架方面行動緩慢:加州一項規範當地 AI 行業的法案 被加州州長加文·紐森否決。
“AI 技術發展速度極快,但 AI 風險管理卻沒有跟上,”坎波斯說。“只要政府沒有自己進行評估,我們的評級就會填補這個空白。”
為了對每家公司進行評級,SaferAI 的研究人員評估了模型的“紅隊”——技術上的努力去尋找缺陷和漏洞——以及公司制定模型威脅和減輕風險的策略。
在評估的六家公司中,xAI 排名最後,得分為 0/5。Meta 和 Mistral AI 也被標記為風險管理“非常薄弱”。OpenAI 和 Google Deepmind 的評級為“弱”,而 Anthropic 以 2.2 分的“中等”得分領先。
坎波斯表示,xAI 得分最低,因為他們幾乎沒有公開任何關於風險管理的資訊。他希望該公司現在可以將注意力轉移到風險管理上,因為其模型 Grok 2 正與 Chat-GPT 和其他系統競爭。“我希望這只是一個過渡階段:他們會在未來六個月內公開一些資訊,然後我們可以根據這些資訊更新他們的評級,”他說。
坎波斯表示,這些評級可能會給這些公司施加壓力,要求它們改進其內部流程,這可能會減少模型的偏差,遏制錯誤信息的傳播,或使它們不太容易被惡意行為者濫用。坎波斯還希望這些公司採用與核能、生物安全和航空安全等高風險行業相同的一些原則。“儘管這些行業處理的是截然不同的對象,但它們的原則和風險管理框架卻非常相似,”他說。
SaferAI 的評級框架旨在與一些全球最重要的 AI 標準相兼容,包括歐盟 AI 法案和七國集團廣島程序中提出的標準。SaferAI 是 的一部分,該組織由白宮於 2 月份創建。該非營利組織主要由科技非營利組織 Founders Pledge 和投資者 Jaan Tallinn 提供資金。
AI 領域最受尊敬的人物之一約書亞·本吉奧認可了這個評級系統,他在一份聲明中寫道,他希望這個系統能夠“保證 [公司] 開發和部署的模型的安全……我們不能讓他們自己打分。”
更正,10 月 2 日:這篇報導的原始版本錯誤地說明了 SaferAI 對公司進行評級的方式。其研究人員評估了模型的“紅隊”程序;他們沒有進行自己的紅隊評估。
本文由第三方廠商內容提供者提供。SeaPRwire (https://www.seaprwire.com/)對此不作任何保證或陳述。
分類: 頭條新聞,日常新聞
SeaPRwire為公司和機構提供全球新聞稿發佈,覆蓋超過6,500個媒體庫、86,000名編輯和記者,以及350萬以上終端桌面和手機App。SeaPRwire支持英、日、德、韓、法、俄、印尼、馬來、越南、中文等多種語言新聞稿發佈。