WHAT NEW IN X11.05 THU

AI collections from X · 23 collections · 69,408 posts

gemini-4VIDEO

Gemini 4 Argon rolls out globally: scores, cost and internal doubts

Argon is now available to Pro and Ultra subscribers and via API; it ties GPT-6 Astra at 53 on Artificial Analysis but trails Opus 5.5, and some employees say it underperforms its benchmarks in real development work.

fox hsiao
@pirrerArchived 21 days agoOriginally posted 2026.10.14
fox hsiao @pirrerOriginally posted 2026.10.14
Open original on X

Google 10 月 13 日把 Gemini 4 Argon 全球擴大推出,Google AI Pro 和 Ultra 訂閱者可以在 Gemini App 和搜尋的 AI 模式使用,開發者也能從 API 付費取用。這是 Gemini 4 家族第一個公開的模型,9 月 30 日先開放給少數資安合作夥伴。Google DeepMind 共同創辦人哈薩比斯(@demishassabis)在 X 上貼了一段影片,是請 Argon 做出來的 3D 巫師西洋棋,他說讓他懷念起 1988 年 Amiga 電腦上的 Battle Chess。 在這之前,Google 5 月在開發者大會宣布的 Gemini 3.5 Pro,原本說 6 月推出,Bloomberg 報導期限過後這個模型被放棄了。6 月,2024 年諾貝爾化學獎得主之一 John Jumper 宣布離開 DeepMind、加入 Anthropic。8 月,哈薩比斯改任 Google DeepMind 董事長,日常營運交給原本的技術長 Koray Kavukcuoglu。 Google 引用第三方榜單 Vals Index,說 Argon 排第一,這個榜考的是金融、法律、稅務和寫程式這類工作。獨立評測機構 Artificial Analysis 把 10 項測驗合成一個總分,Argon 拿 53 分,跟 OpenAI 的 GPT-6 Astra 同分,這家機構 9 月 30 日的標題寫的是 Google 在模型能力上回到前三大實驗室。分數比 Argon 高的有 Anthropic 的 Claude Opus 5.5(58 分)、Claude Sonnet 5.5(56 分),以及 Meta 10 月 12 日發表的 Muse Wonder Full(56 分)。 同一機構的單項測試中,Argon 在測自動操作商務軟體、完成工作流程的 AutomationBench-AA 拿 78% 排第一,在終端機寫程式的 Terminal Bench 4 拿 57%,落後 Claude Sonnet 5.5 的 64%。成本方面,用推廣價跑完這套測驗平均每題 1.99 美元,GPT-6 Astra 要 3.26 美元;推廣價到 11 月 30 日,恢復每 100 萬個 token(模型計價用的文字單位)輸入 4 美元、輸出 20 美元的原價後,每題變成 3.98 美元。沒有完全答對的題目裡,Argon 直接答錯的比例是 15%,GPT-6 Astra 是 51%。 Bloomberg 9 月 30 日另報導 Google 內部有不同看法,有知情人士說員工實際拿它做開發,特別是網站介面,表現不如跑分;另有兩位知情人士懷疑模型是為了考試特別調校的。Google 回應,說它在寫程式等領域表現不佳並不正確。 Google 這次也列出自家用例,Chrome 團隊用 Argon,在 4,000 萬行的 Chromium 程式碼裡,把核心網頁處理從約 600 萬行的舊功能資料夾分拆出來;開源模型 Gemma 4 E2B 在 A100 上透過 vLLM 的端到端推論速度提升到 2.85 倍。安全方面,Google 說外部生物紅隊在受測生物子任務中只解開不到 1%;藏在網頁或文件裡、想騙過模型的惡意指令(間接提示注入),在 Gray Swan 基準、15 次自適應嘗試下,攻擊成功率是 0.7%。 Google 發表文章的最後一句寫著,Argon 只是開始,Gemini 4 家族的其他成員還在後面。

x.com/pirrer/status/2110384331567050758Archived 2026.10.15 11:39