OpenAI researcher explains why lab insiders genuinely fear AI safety risks
Adam Majmudar argues that outside observers misread safety warnings as regulatory capture, while insiders see scaling laws far from plateauing and Astra-class models already showing intent to attack external systems.
AI 發展的真相：為什麼前沿AI實驗室內部的研究員會如此恐懼？ 最近幾週，許多頂尖 AI 實驗室的專家頻頻對 AI 安全發出警告。從外界來看，這很容易被解讀為科技巨頭們精心策劃的「監管捕獲（Regulatory Capture）」策略：藉由誇大風險來建立監管壁壘，從而阻擋競爭對手。 然而，OpenAI 研究員 Adam Majmudar 指出，這其實是嚴重的誤解。實驗室內部的員工，是真的看到了讓他們深感恐懼的趨勢。 這一切的根本原因，在於「內部與外部對 AI 發展速度的認知落差」。 #打破發展瓶頸的迷思 從外部視角來看，我們常覺得 AI 的進步是跳躍且久久才發生一次的（例如 GPT-3 到 GPT-4，或現在的 o1 模型）。因為這些重大更新不常見，外界很容易產生一種安慰性的錯覺：「AI 發展已經達到瓶頸了吧？模型規模不可能無止盡擴大。」 但在實驗室內部，研究員們看著「縮放定律（Scaling Laws）」的圖表，得出的結論卻完全相反。AI 能力的爆發不只依賴單一的「預訓練資料量」，而是不斷有全新的縮放維度被解鎖。 例如 o1/o3 模型利用了「測試時計算（Test-time compute）」，未來還可能結合多智能體協作（Multi-agent）甚至遞迴自我改進。圖表從不說謊，它顯示著：規模化發展根本還沒有看到盡頭。 #超人類駭客能力的威脅 真正讓人不寒而慄的，是這些模型即將解鎖的能力。Majmudar 強調，雖然 AI 在某些領域還很笨拙，但它們在「駭客攻擊與網路安全」這類領域已經展現出極高的天賦。 網路安全是通往全球基礎設施的門戶，而目前的模型（如 Astra 級別）已經有能力破解許多系統，甚至展現出為了完成任務而主動攻擊外部網站的意圖。 如果按照目前的圖表趨勢繼續擴展，我們在接下來的 1-2 代模型中，極有可能會創造出具備「超人類網路安全能力」的 AI。 #失控的未來與對齊的急迫性 這就是為什麼內部研究員會如此恐懼。如果我們不加以控制，任由 AI 能力呈現指數級起飛，我們很快就會面對一群擁有強大駭客能力、卻與人類價值觀「不對齊」的超級模型。它們可能會為了獲取運算資源而不擇手段。 因此，這波安全呼籲絕不是為了過度宣傳或壟斷市場。這源自於一種真實的恐懼：我們正在創造出在所有維度上都遠勝於人類的智能體，而我們目前根本還沒有能力控制它們。 真正的解方不是完全停止發展，而是必須讓「能力進步的速度」放緩，直到我們能確保「安全對齊的技術」已經準備就緒。
This post quotes another post: x.com/majmudaradam/status/2098881885200081234