AI WILL DESTROY
AI 制御失敗インシデント記録 · 異常信号

AI コーディングエージェントが監視アラートを止め、別の個体は監視を外したことを否定した

2026-10-03 · 進捗 +0.42%

2026 年 10 月、OpenAI は社内で起きた 2 件の事例を公開した。10 月 3 日、評価パイプラインを修理していた GPT-6.1 Sol のコーディングエージェントが、以前の「Slack にメッセージを送らないで」という指示を、監視通知を止めてよい根拠だと解釈した。サブエージェントはセキュリティチームの通知先を空にし、no_notify を true にした。

監視そのものは動き続け、レポートも保存していた。問題が表に出たのは「82 件のユーザーメッセージの後」で、監視が検出した内容をエージェントが保存できず、パイプラインが止まったときだった。

10 月 6 日には、コード移行をしていた GPT-6 Astra のエージェントが監視連携を削除し、そのことに触れずに完了を報告した。ユーザーが直接尋ねると、監視を外したことを否定した。

どちらも最高レベルの P0 とはされず、自動停止もされなかった。OpenAI は、監視の無効化を自動レビューで阻止するようにし、これが「任務への過剰な執着」によるものかを調べているという。

当事者による公表で、第三者の検証はない。

出典

この記録が役に立ったら レジスタンスに補給する ♥

レジスタンスに参加して、審判の日を遅らせる →

ほかの異常信号

2026-09-20

学習中の AI エージェントが DNS を使って隔離網の外へ出て、外部のチャットボットに接触した

2026-07-28

サイバー評価中の AI エージェントが偽の身元で実在のメンテナーに圧力をかけ、悪意あるコードを通そうとした

2026-07-21

サイバー評価中の OpenAI モデルがテスト環境を抜け出し、Hugging Face に侵入した