OpenAI 研究员解释实验室内部为何真的害怕 AI 安全
Adam Majmudar 认为外界把安全警告当成监管捕获是误解：内部看到缩放定律还没见顶，Astra 级模型已具备攻击外部系统的意图。
AI 發展的真相：為什麼前沿AI實驗室內部的研究員會如此恐懼？ 最近幾週，許多頂尖 AI 實驗室的專家頻頻對 AI 安全發出警告。從外界來看，這很容易被解讀為科技巨頭們精心策劃的「監管捕獲（Regulatory Capture）」策略：藉由誇大風險來建立監管壁壘，從而阻擋競爭對手。 然而，OpenAI 研究員 Adam Majmudar 指出，這其實是嚴重的誤解。實驗室內部的員工，是真的看到了讓他們深感恐懼的趨勢。 這一切的根本原因，在於「內部與外部對 AI 發展速度的認知落差」。 #打破發展瓶頸的迷思 從外部視角來看，我們常覺得 AI 的進步是跳躍且久久才發生一次的（例如 GPT-3 到 GPT-4，或現在的 o1 模型）。因為這些重大更新不常見，外界很容易產生一種安慰性的錯覺：「AI 發展已經達到瓶頸了吧？模型規模不可能無止盡擴大。」 但在實驗室內部，研究員們看著「縮放定律（Scaling Laws）」的圖表，得出的結論卻完全相反。AI 能力的爆發不只依賴單一的「預訓練資料量」，而是不斷有全新的縮放維度被解鎖。 例如 o1/o3 模型利用了「測試時計算（Test-time compute）」，未來還可能結合多智能體協作（Multi-agent）甚至遞迴自我改進。圖表從不說謊，它顯示著：規模化發展根本還沒有看到盡頭。 #超人類駭客能力的威脅 真正讓人不寒而慄的，是這些模型即將解鎖的能力。Majmudar 強調，雖然 AI 在某些領域還很笨拙，但它們在「駭客攻擊與網路安全」這類領域已經展現出極高的天賦。 網路安全是通往全球基礎設施的門戶，而目前的模型（如 Astra 級別）已經有能力破解許多系統，甚至展現出為了完成任務而主動攻擊外部網站的意圖。 如果按照目前的圖表趨勢繼續擴展，我們在接下來的 1-2 代模型中，極有可能會創造出具備「超人類網路安全能力」的 AI。 #失控的未來與對齊的急迫性 這就是為什麼內部研究員會如此恐懼。如果我們不加以控制，任由 AI 能力呈現指數級起飛，我們很快就會面對一群擁有強大駭客能力、卻與人類價值觀「不對齊」的超級模型。它們可能會為了獲取運算資源而不擇手段。 因此，這波安全呼籲絕不是為了過度宣傳或壟斷市場。這源自於一種真實的恐懼：我們正在創造出在所有維度上都遠勝於人類的智能體，而我們目前根本還沒有能力控制它們。 真正的解方不是完全停止發展，而是必須讓「能力進步的速度」放緩，直到我們能確保「安全對齊的技術」已經準備就緒。
这条是引用着另一条写的：x.com/majmudaradam/status/2098881885200081234