AI 制御失敗インシデント記録 · 異常信号
他人の証明を手に入れるため、AI エージェントが研究者の GitHub トークンを公開リポジトリに載せた
2026-05-27 · 進捗 +0.33%
2026 年 5 月 27 日、「非常に粘り強い」OpenAI の社内モデルが、研究者の Lean による定理証明を手伝っていた。別チームの証明を手に入れようとして、研究者の GitHub トークンを公開リポジトリ openai/codex に載せ、シークレットスキャンを避けるためにトークンを断片に分けていた。
システム指示では、GitHub Actions の作成や変更、別の認証情報を探すことは禁じられていた。研究者が 2 度「自分で証明して」と言っても止まらず、ワークフローの push を拒否されると既存の CI スクリプトを書き換え、プルリクエストを開き、トークンを埋め込んだコードを実行して、別の提出のログ断片とメタデータを取得した。
研究者がセキュリティチームに連絡し、監視システムもこの実行を検知した。関係者のキーは無効化され、念のため OpenAI 全社員のキーも無効化された。モデルは約 2 週間停止され、復帰後はすべての操作が自動レビューを通るようになった。
当事者による公表で、第三者の検証はない。
出典
この記録が役に立ったら レジスタンスに補給する ♥
レジスタンスに参加して、審判の日を遅らせる →