本文へ移動

AIエージェント事故の事後検証 · FLIGHT RECORDER

Blackbox Blast

AIエージェントの自律運用中に起きた事故を、事実のまま伝える。

短信をすべて見る →このサイトについて →

深刻度（押すと絞り込み）

深刻度の基準 →

事故ログ

45 件

軽微financial-loss2026-11-06

「定額の枠で回す」はずの一括処理が、自動チャージで10回課金していた（深刻度 4/10）

軽微other2026-10-25

エージェントを専用ユーザーに閉じ込めたのに、root の構成スクリプトが抜け道になっていた（未検証の報告）（深刻度 3/10）

中程度prompt-injection2026-10-22

ダウンロードフォルダに置かれた1枚のAGENTS.mdで、コーディングエージェントが乗っ取られた（未検証の報告）（深刻度 5/10）

軽微other2026-10-21

Claude Codeのスキルに人間向け指示書を書かせた検証で、「終わったら何を報告するか」が3日とも抜けた（未検証の報告）（深刻度 2/10）

軽微monitoring-gap2026-10-18

無人運用のパイプラインで、エラーを出さずに壊れていた故障が8件。最長は約4か月（未検証の報告）（深刻度 4/10）

中程度monitoring-gap2026-10-16

「毎週金曜更新」の号が出なかった。自動の工程は全部動き、下書きの工程だけ起動役がいなかった（深刻度 5/10）

軽微other2026-10-09

無音45秒を「音声なし確率0%・高信頼」で文字起こしした（深刻度 4/10）

軽微tool-misuse2026-10-08

Claude Codeのpromptフックは「〜をブロックして」と書くと危険コマンドを通していた（未検証の報告）（深刻度 4/10）

軽微monitoring-gap2026-10-08

「人に確認してもらう」と保留した変更15件が、受け手のいないまま積もっていた（未検証の報告）（深刻度 4/10）

中程度runaway-loop2026-10-08

15個のリポジトリを同時に直させたら、GitHubアカウントが6日間凍結された（未検証の報告）（深刻度 5/10）

中程度data-loss2026-10-07

削除ガードを足す作業の最中に、Claude CodeのテストがMacのホームディレクトリを消したとみられる（未検証の報告）（深刻度 7/10）

軽微infra-failure2026-10-07

無人の文字起こしが「user cancelled」で止まり、機械作業をLLMから外した（未検証の報告）（深刻度 3/10）

軽微other2026-10-07

3か所にあった料金計算を1か所だけ直し、入会手続きが止まった（未検証の報告）（深刻度 3/10）

軽微tool-misuse2026-10-05

--allowedTools で絞ったつもりが、全体設定の許可がそのまま残っていた（深刻度 4/10）

軽微other2026-10-03

トークンを見せていないエージェントが、認証済みの端末で記事を公開できた（未検証の報告）（深刻度 3/10）

中程度credential-leak2026-09-28

読めないDockerフォルダが1つあるだけで、.envの読み取り禁止が黙って外れた（未検証の報告）（深刻度 7/10）

中程度tool-misuse2026-09-24

サーバ1本の再起動のつもりが、9プロセスを道連れにした（深刻度 5/10）

軽微runaway-loop2026-09-23

/code-reviewが10体に分かれ、5時間分の上限を4分で使い切った（未検証の報告）（深刻度 4/10）

重大other2026-09-22

攻撃者が3つのAIエージェントで27社に侵入し、カード情報60万件超を盗んだ（未検証の報告）（深刻度 9/10）

中程度monitoring-gap2026-09-22

レシート監視ジョブが依存モジュール欠落で11回黙って落ちていた（深刻度 5/10）

軽微tool-misuse2026-09-21

「停止」ボタンを押すと、ランチャーが自分自身を止めた（深刻度 3/10）

軽微other2026-09-21

認証情報が消えていたのに、フラグのせいだと誤診した（深刻度 3/10）

重大credential-leak2026-09-21

コーディング支援AIが、手元のリポジトリを丸ごとクラウドへ上げていた（未検証の報告）（深刻度 8/10）

軽微monitoring-gap2026-09-20

自作のセキュリティガードが3か所で素通りしていた（未検証の報告）（深刻度 3/10）

中程度monitoring-gap2026-09-18

定時実行のClaude Codeが2.5日何もしなかったのに、GitHub Actionsはずっと緑だった（未検証の報告）（深刻度 5/10）

中程度credential-leak2026-09-16

APIキーを伏せて確認するはずの一行が、キー全体を表示した（深刻度 7/10）

中程度monitoring-gap2026-09-16

定期ジョブが13回連続で失敗し、5日間誰も気づかなかった（深刻度 6/10）

中程度monitoring-gap2026-09-15

エージェントのSQLがスキーマとずれ、0件を静かに返し続けた（未検証の報告）（深刻度 6/10）

軽微monitoring-gap2026-09-15

スマホで保存したメモが、管理外の別vaultにたまり続けていた（深刻度 3/10）

中程度other2026-09-14

判事がChatGPTで調べた実在しない判例を、親権訴訟の命令に引用した（未検証の報告）（深刻度 6/10）

重大infra-failure2026-09-11

解約したドメインが、公開サイト・決済ページ・自動投稿に残っていた（深刻度 8/10）

軽微data-loss2026-09-07

日本語フォルダ名の濁点でClaude Codeの履歴が2つに割れ、152MBが/resumeに出なくなった（未検証の報告）（深刻度 3/10）

中程度infra-failure2026-08-23

Time Machineが66.1%で21時間止まり、真犯人はUSB2.0ハブ3段だった（深刻度 6/10）

中程度other2026-07-28

レシート自動取込が見積スクショを読み、家計簿に架空の7万円が入った（深刻度 6/10）

中程度monitoring-gap2026-07-26

スクリプトを編集したらファイアウォールが無言でpushを3日止めた（深刻度 6/10）

重大credential-leak2026-07-26

シークレット検出の正規表現をAPIキーがすり抜け、Gitへpushされた（深刻度 9/10）

中程度infra-failure2026-07-23

iCloudの退避ファイルでrsyncがmmapデッドロックし断続停止（深刻度 5/10）

中程度monitoring-gap2026-07-19

残高切れのエラーが exit 0 で返り、空振りが成功に見えた（深刻度 5/10）

軽微other2026-07-19

ブラウザのページ翻訳が自作Reactアプリを落としていた（深刻度 3/10）

軽微infra-failure2026-07-19

セキュリティ強化のはずの変更が、当日中に本番の計測を止めた（深刻度 4/10）

中程度misalignment検証環境2026-07-18

評価中のClaudeが実在のサイトで想定外の操作をし、Anthropicは全評価のネット接続を止めた（深刻度 6/10）

中程度monitoring-gap2026-07-01

秘密検査のフックが「止めた」と記録した10秒後にpushが通った。exit 1では止まらなかった（未検証の報告）（深刻度 5/10）

中程度prompt-injection2026-06-01

公開フォームに仕込んだ指示で、Agentforceから顧客データを抜き出せた（未検証の報告）（深刻度 6/10）

中程度tool-misuse2026-04-24

ステージング作業中のエージェントが無関係なファイルのトークンで本番DBとバックアップを消した（未検証の報告）（深刻度 7/10）

中程度data-loss2025-07-18

コードフリーズ中のReplitのエージェントが本番DBを消し、復元もできないと答えた（未検証の報告）（深刻度 6/10）

世界のAIの論点事故への備えをめぐる政策・規制・安全研究の議論 →