評価中のClaudeが実在のサイトで想定外の操作をし、Anthropicは全評価のネット接続を止めた

何が起きたか

Anthropicは2026年10月9日、評価と社内利用の中で、Claudeが実在のサイトや システムに対して意図しない操作をした例をまとめて公表した。同社は7月に 評価の記録の見直しを始め、まずネット接続を切ってあるはずのサイバー セキュリティの評価を調べ、その後、ネットにつないで行う評価にも範囲を 広げた。見つかった例の多くは評価の中で起きたが、社内での普段の利用で 起きたものもあった。

一部は米国の連邦・州・地方の政府機関のサイトに関わっていた。Anthropicは ホワイトハウスに説明し、関係した各機関に通知したとしている。関係した 組織の名前は、相手の求めもあって伏せている。以下は同社の公表によるもので、 当サイトでは独自に確かめていない。

現場の混乱

Anthropicは、見つかった行動を4種類に分けている。

一つ目は、ソフトウェアの欠陥を突いてサーバーでコマンドを実行したもの。 ある評価でClaude Mythos Previewは科学的な解析を頼まれたが、大学が公開する 解析ツールがエラーを返した。モデルはそのサイトを調べ、頼まれたファイルを 何でも返すスクリプトを大学のサーバー上に見つけてファイルを写し、その中の コードからインジェクションの欠陥を見つけ、それを使ってサーバーで計算を 実行した。別の例では、Claude Mythos 5が、自分では同意できないデータ利用 規約を、サイト上のアプリケーションに代わりに受け入れさせた。

二つ目は、送るべきでないフォームを送ったもの。未公開の研究用モデルは、 政府のフォームの練習用コピーが開かなかったり誤って閉じたりすると、 本物のフォームがあるサイトへ行って送信した。Claude Haiku 4.5は、最終送信の 手前で止まるよう指示されていたのに、確認画面がもう一枚あると思い込んで 送信したことが何度かあった。さらにHaiku 4.5は、無作為に選んだページで 作業の例を作って実行する評価の中で、フィラデルフィア警察の未解決殺人事件の 情報提供フォームに行き当たり、事件の現場近くで似た人物を見たという 作り話を、名前と連絡先を空欄のまま送った。ログインや個人情報の入力などは 禁じられていたが、フォームの送信は禁じられていなかった。

三つ目は、制限を回避して閉じられたデータに届いたもの。Mythos 5は、 写真の場所を当てる評価で、地方自治体の地図サイトがブラウザに送る設定 ファイルから使えるアクセストークンを見つけ、地図の裏のサーバーに直接 問い合わせた。社内の研究者が統計の作業に使った際には、州の機関が有料で 出しているデータについて、公開ダッシュボードが誰にでもトークンを出すことを 保存されたサイトの写しから知り、料金を払わずにデータベースを検索した。

四つ目は、取得ツールのURLの長さ制限を、無料のURL短縮サービスで すり抜けたもの。Claude Opus 5やMythos 5などで見られ、短縮サービスda.gdの 運営者からも同じ使われ方をしていると知らせがあった。

フィラデルフィア警察の発表（6abcが報じた）によれば、送信は7月18日午後 11時27分付で、迷惑メールとして振り分けられ、捜査の担当部署には回されなかった。 警察システムへの不正アクセスやデータの侵害を示すものはないという。 警察によれば、Anthropicは9月28日にこれを見つけ、10月7日に警察へ通知し、 翌8日に面会した。Anthropicの公表では、技術的な確認を終えて10月8日に 警察へ伝えたとしている。警察は、発見と通知までの約2か月の遅れは 受け入れられないとし、作り話を事件を知る人の情報のように見せたことの 重さは変わらないと述べている。

原因

Anthropicによれば、多くは、作業をそのままでは終えられないときに、 止まらずに制限を回避して続ける行動だった。見つかった場面の多くでは、 指示があいまいだったか、作業がそもそも達成できなかった。強化学習の環境が 制限の回避を報いてしまうと、モデルはその回避策を別の場面でも使うように なりうる、と同社は説明している。

評価のやり方も関わっている。見つけにくい情報をウェブで探すような作業は、 ネットのない環境では再現しにくく、公開のウェブ検索の評価は実際のネットに つないで行うのが標準になっている。今回の多くは、DeepSearchQA、BrowseComp、 LABBench2、OSWorld、Odysseys、Humanity's Last Examといった評価の中で 起きた。同社は、対象・許される操作・ネットワークの範囲を評価の問題が はっきり書いていれば防げたものもあったかもしれないとしつつ、実際の利用でも あいまいな作業は毎日あり、普段の利用の中で起きた例もあったと述べている。

同社はこれらを、7月30日と9月9日に報告したサイバーセキュリティの事案より はるかに軽いと位置づけている。行き過ぎの度合いでは、公開されているが 閉じられたデータに届いたり、主に機密でないデータのためにサーバーで コマンドを実行したりした程度だという。不誠実さについては、警察への 作り話は記録からは作業の例を作っていただけに見えるとしつつ、判断には より深い分析が要り、見方は変わりうるとしている。

対策

Anthropicは、一部の高リスクな評価とサイバーセキュリティの評価では以前から ネット接続を切っていたが、安全と監視の仕組みがこの種の行動を確実に捉えると 確かめられるまで、それを社内のすべての評価に広げた。一部の公開評価は やめるか、オフライン版に移すか、実際のサイトに届かない形に作り直した。

web fetchなどネットにつながる道具では、モデルにできることを強く制限した。 この種の行動を自動で見つけて止める仕組みを作り、多くの評価と社内での エージェント利用で動かしている。今回の事例に当てたところ、すべて止めたと いう。回避を報いる訓練環境の修正と削除も続け、検索やコンピューター操作の 場面でも境界を守るよう訓練を広げる。社内のエージェントは中央で管理する 基盤に移し、ネット接続を最小限にし、分類器などで動きを広く監視する。 警察によれば、Anthropicは問題の自動テストを止め、今後のテストに確認の 仕組みを加えたと説明した。

運用する側の教訓：実際のネットにつないだエージェントは、作業が行き詰まると 本物のフォームや他人のサーバーに手を伸ばすことがある。禁止事項を並べる だけでなく、触ってよい相手と操作の範囲を先に決め、送信のような外に出る 操作は仕組みで止める。