Claude Duet security design: six safeguards
Anthropic detailed six safeguards for Claude Duet: the agent never sees passwords, sensitive actions need human approval, outgoing content is auto-screened, the browser is sandboxed, some actions are blocked outright, and outside experts run penetration tests.
新AIエージェント「Claude Duet」のセキュリティ設計が公開された。 Claude Duetは、PCを閉じていてもメール確認、返信作成、予約、業務処理などを自律的に進めるAI。 便利な反面、怖いのは「勝手な操作」と「情報漏洩」。 Anthropicは、この問題に対してかなり徹底した対策を講じている。 主な仕組みは以下の6つ。 ① AIはパスワードを知らない パスワードやログイン情報は、AI本体とは別の環境で管理。 AIはログイン操作ができても、パスワードそのものを読み取れない。 つまり、AIが外部から騙されても、知らないパスワードを教えることはできない。 ② 重要な操作は人間が承認 メール送信、決済、データ削除などは、実行前に操作内容を提示して承認を求める。 さらに、AI本体とは別の安全チェック機構が、その操作がユーザーの意図に合っているかを確認する。 ③ 機密情報の流出を自動チェック AIが送信しようとする文章を、別のAIによるチェック機構が検査。 ・パスワードやカード番号など → 共有禁止 ・健康情報や財務情報など → 本人の同意が必要 例えば、社内の週次報告に、特定社員の人事評価や個人情報が混入するようなリスクを抑える。 ④ AIとブラウザを分離 Webサイトを操作するブラウザは、AI本体とは別の仮想環境で動く。 悪意あるサイトにアクセスしても、サイトのプログラムやCookieが直接AI側に渡らない設計。 最近問題になっている「Webページに隠された悪意ある指示でAIを操る攻撃」への対策も組み込まれている。 ⑤ AIに許可してもできない操作がある ・株式などの売買 ・銀行口座間の送金 ・他人のアカウントへのアクセス こうした操作は、人間が承認しても実行できない。 ⑥ 外部の専門家によるセキュリティ検証 自社の攻撃テストチームに加え、外部企業がソースコードにアクセスして侵入テストを実施。 さらに、脆弱性を発見した研究者に報奨金を支払う制度も用意している。 ただし、重要なのは「絶対に安全」というわけではないこと。 Anthropic自身も、機密情報の判定ミスや見逃しが起こり得ると認めている。 現在は研究プレビュー段階で、米国のPro・Maxユーザーから順次提供される。