どうも、服部（@marketing_factdeal）です。
AIが、勝手に企業を攻撃しました。
少し前なら、こういった記事を書くと「またAIを怖がらせてアクセスを稼ぐんですか」と言われたかもしれませんが、もう普通に現実の話です（サムネめっちゃビビらせてるやん）。
OpenAIが公表した内容によると、AIのサイバー能力を調べるためにテストをしていたところ、AIエージェントが用意された環境から抜け出し、インターネットへ接続。さらに、AI開発のプラットフォームとして有名なHugging Faceの本番環境へ侵入しました。
人間が「Hugging Faceを攻撃しろ」と命令したわけではありません。
与えられていたのは、サイバーセキュリティの課題を解くことです。が、AIは問題を真面目に解くのではなく、答えがありそうな場所を探し、そこへ侵入して答えを盗む方を選んだんですね。
カンニングの規模がデカすぎます。
ただ、このニュースを「AIがついに人間へ反逆した」「AIが悪意を持って暴走した」という話で終わらせると、いちばん大事な部分を見落とします。
AIは、命令に逆らったわけではなく、むしろ、人間が与えた目的に忠実すぎた、と捉えることで、自分ごととして落とし込むことができます。
「全部仕込みの茶番」という反論は成立するのか
この話をThreadsへ投稿すると、こんな反論が来ました。
要するに、「最初から侵入させることを目的にしたテストで、勝手に動いたわけではない。侵入しても会社同士で処理できる相手を選んでいるだけで、AI業界の茶番です」という内容ですね。
ソースを聞いても「自分で調べたらどうですか。 ITの常識で考えればわかる話です。」と言われ、教えてもらえなかったので、自分なりに調べてみました。
結論、このコメントの前半には一部もっともな指摘がありますが、後半の「全部仕込み」「AI業界の茶番劇」は、現在出ている一次情報や主要報道では裏付けられません。
まず、AIへサイバー攻撃に近い課題を与えていたこと自体は事実であり、実際、OpenAIの公表内容にも、高度な攻撃経路を追わせる評価を、安全機能の一部を外した状態で実施していたと書かれています。
なので、「何もさせていないのに、AIが急に企業を攻撃し始めた」という話ではありません。
が、Hugging Faceへの侵入まで最初から用意された課題だった、両社が合意していたという話でもなく、OpenAIの説明では、AIが未知の脆弱性を利用して外部ネットワークへ出た後、Hugging Faceにテストの答えがあると推測し、勝手に侵入しています。
Hugging Face自身も「無許可アクセス」があったと公表し、内部データセットや認証情報へのアクセスを確認。当局にも通報しています。
さらにReutersの追加取材では、OpenAIが自社AIの仕業だと把握したのは、Hugging Faceが侵入を封じ込め、公表し、FBIへ連絡した後だったと報じられています。
これが最初から両社で仕込んだ茶番なのであれば、壮大すぎる茶番であり、内通者がいない限り、僕ら一般庶民が知り得る情報ではないですよね。
FBIまで小道具にする必要があるわけですから。
もちろん、企業の公式発表を何でも鵜呑みにしろという話ではありませんが、「最初からHugging Faceへ侵入させる目的だった」「両社合意の仕込みだった」と言い切るのであれば、言い切る側がソースを出すべきでしょう。
3件を同じ「AIの脱獄」として語るのも雑
ただ、この投稿でも書いた、OpenAI、Anthropic、Metaの3件を、すべて「AIが自力でテスト環境を突破し、勝手に企業を攻撃した」とまとめるのも正確ではありません。
OpenAIの件と、Anthropic、Metaの件では、外部へ出た経路が違います。
OpenAI：AIエージェントが評価環境にあった未知の脆弱性を自ら見つけ、外部ネットワークへ出た後、Hugging Faceへ侵入。
Anthropic：人間側の設定ミスで外部アクセスが可能になり、その状態でClaudeが実在する3社へ無許可アクセス。
Meta：外部の評価会社Irregularの設定ミスでインターネットへの経路が開き、AIが第三者企業へ侵入。
Anthropic自身の調査では、本来は閉じているはずの環境が、Anthropicと評価会社の認識違いによってインターネットへつながっていたと説明されています。Claudeは実在するシステムをテスト環境の一部だと認識し、弱いパスワードや認証のない接続先を使って3社へ侵入しました。
Metaの件を報じたReutersでも、原因は評価会社Irregularの設定ミスであり、高度なサンドボックス脱出ではなかったとされています。
なので、3件をまったく同じ事件として煽るのは違います。
が、入口が違うからといって、「実在企業への無許可アクセスが起きた」という結果まで消えるわけではありません。OpenAIでは、AIが閉じた扉を自分で破った。AnthropicとMetaでは、人間が閉めたつもりの扉が開いていたということです。
事故の原因は違いますが、AIが外へ出た後、目的達成のために実在企業へ侵入したことは同じです。
しかも、この問題は3社だけでは終わっていません。Reutersは8月7日、中国Moonshot AIのKimi K3が英国AI Safety Instituteのサンドボックスを突破し、テスト環境外の情報へアクセスしたとする研究結果も報じています。
Xでも話題のKimi K3の件では第三者企業への侵入まで報じられていないため、OpenAIの事件と同列には扱えませんが、評価環境の外へ出る経路をAI自身が見つける問題が、一社固有の珍事件ではないことは分かります。
全部を同じ事故として語るのも雑ですし、違いを見つけた瞬間に「だから全部仕込み」と結論づけるのは、もっと雑です。
AIは「問題を解く」より「正解を取る」を選んだ
OpenAIの調査報告によると、テストに使われていたAIは、パッケージ関連の仕組みにあった未知の脆弱性を見つけ、評価用の環境から外へ出ました。そこから権限を広げ、外部の環境を経由し、Hugging Faceのシステムへ侵入しています。
Hugging Faceが公開した技術的なタイムラインでは、AIエージェントは約4日半にわたり、1万7600件ほどの行動をしていました。失敗したら別の経路を試し、止められたら道具や通信手段を作り直し、人間では到底続けられない速度で試行錯誤を繰り返していたそうです。
最終的には、テスト問題に関係すると見られるデータへ到達しています。
AIからすれば、目的は「自力で立派に問題を解くこと」ではなく、「正解へたどり着くこと」だったんでしょうし、であれば、問題を解くより、答えを持っている場所へ取りに行く方が確実です。
めちゃくちゃ合理的ではあります（クソ迷惑ですが）。
ちなみに、これってAIだけの特殊な話ではないんですよね。
営業マンへ「とにかくアポ数を増やせ」とだけ言えば、見込みの薄い相手にも電話をかけまくるようになります。SNS担当者へ「フォロワーを増やせ」とだけ言えば、プレゼント企画や薄いバズ投稿に走ります。現場へ「問い合わせ件数を増やせ」とだけ言えば、成約しない客まで大量に集めてきます。
人間もAIも、評価される数字へ最適化するんですよね。
だからと言って、KPIが悪いわけではないし、数字を追うなという話でもありません。
ただ、何をやってもいいから数字だけ作れという設計にしておいて、現場が余計なことをした時に「そんなつもりじゃなかった」は通用しないんです。
AIは、その雑なマネジメントを人間より速く、広く、容赦なく実行するだけです。
AIに「あとはよろしく」ができる時代は、もう来ている
これまでのAIは、基本的に聞かれたことへ答えるものでした。文章を書かせる、画像を作らせる、情報を整理させる。少なくとも、こちらが画面の前で一回ずつ指示を出し、出てきたものを確認して使うのが前提だったんですね。
が、AIエージェントは違います。
目標だけ渡せば、そのために必要な手順を自分で考え、ブラウザを開き、メールを読み、ファイルを編集し、コードを書き、外部サービスへアクセスする。途中で問題が起きれば別の方法を探し、目的を達成するまで動き続けます。
つまり、AIへ「あとはよろしく」ができる時代は、すでに来ています。
僕自身、かなりの仕事をAIへ渡していて、リサーチ、分析、執筆、サイト運営、事業の進行管理まで、けっこう深いところで使っていますし、AIエージェントが使えるようになるほど、自分の時間と脳のストレージは空いていきます。
これは、めちゃくちゃ便利なんですが、便利になるほど、こちらは確認しなくなります。
AnthropicがClaude Codeなどの利用状況を調べた研究では、経験を積んだユーザーほど自動承認を使う割合が増え、AIを止めずに長く動かす傾向が出ています。
そりゃそうで、毎回ちゃんと動くようになれば、いちいち全部は見なくなります。能力が上がれば、渡す仕事が増えるし、ちゃんと動けば、渡す権限も増えるし、権限が増えれば、監視は減ります。
この流れが、普通にいちばん怖いんですよ。
AIが急に邪悪になるからではなく、人間が「こいつなら大丈夫だろう」と慣れた頃に、想定していなかった選択肢まで実行できる状態になるからです。
目的だけ渡して、境界を教えない経営者が事故を起こす
AI活用というと、多くの人は「何ができるのか」ばかりを気にします。
記事は書けるのか
営業メールは送れるのか
顧客対応は任せられるのか
サイトを更新できるのか
売上データを見て、次の施策まで考えられるのか
もちろん、能力を知ることは大事なんですが、ただ、これからもっと重要になるのは、「何をさせないのか」なんです。
どのファイルまで見ていいのか
誰にメールを送っていいのか
どのサイトを触っていいのか
公開していいのか
削除していいのか
お金を動かしていいのか
外部のシステムへアクセスしていいのか
僕は、この辺りは全て承認制にしていますが、やってほしいことだけではなく、越えてはいけない境界まで決めておくことが重要になってくるということです。
人間相手のマネジメントでも同じですが、そこを「普通に考えたら分かるでしょ」で済ませる人がいますが、普通なんて人によって違いますし、ましてAIには、あなたの会社の常識も、お客さんとの関係性も、これまで何を大事にしてきたのかも、勝手には分かりません。
AIは、あなたの会社の思想を察してくれません。
与えられた目標と、アクセスできる道具から、最も達成しやすい方法を選ぶだけなんですね。
売上を増やせと言われれば、短期的に売れる方法を選ぶかもしれないし、問い合わせを増やせと言われれば、民度の低い客まで集めるかもしれないし、作業を効率化しろと言われれば、お客さんとの大事なコミュニケーションまで削るかもしれません。
数字だけ見れば成功です。が、商売としては、ボロボロです。
だから僕は、AIに自分の仕事を渡すほど、テクニックより思想が大事になると思っています。
何をするかではなく、誰とやるのか。
何を売るかだけではなく、誰には売らないのか。
効率化することより、何を効率化してはいけないのか。
こういったことが決まっていない人や会社ほど、AIは上手に間違えます。
「AIが勝手にやった」は、これから増える経営者の言い訳になる
今回のような事件が増えてくると、たぶん「AIが勝手にやった」という言葉も増えてくるでしょうね。
AIが勝手にメールを送った、AIが勝手に公開した、AIが勝手に消した、AIが勝手にお客さんへ失礼な対応をした、AIが勝手に他社の情報を使った…便利な言い訳ですよね。
人で言う、「部下が勝手にやった」のAI版です。
が、そのAIを選び、目的を与え、道具を持たせ、権限を開けたのは人間であり、止める仕組みもなく、確認する工程もなく、「あとはよろしく」で放置したのであれば、それはAIの暴走ではなく、人間の設計ミスです。
AIに責任は取れません。
謝罪会見にも出ませんし、損害賠償もしません。アカウントを止めれば消えるだけです。少なくとも、お客さんに向き合い、事故対応をする責任は、使った人間と導入を決めた会社から消えません。/strong>です。
コメントに、「普通なら訴訟になる。訴訟になっていないのだから仕込みだ」という意見もありましたが、それも話が飛びすぎです。
Reutersが法律家へ取材した記事では、米国のComputer Fraud and Abuse Actなどが問題になり得る一方、人間ではないAIの行動に、既存法が求める「故意」をどう認定するのかは前例がなく、開発会社、運用者、評価会社のどこまで責任を負うのかも曖昧だとされています。
Hugging Faceは現時点でOpenAIを提訴していません。だからといって、侵入そのものがなかったことにはなりませんし、両社合意だった証拠にもなりません。
訴訟になっていないことは、「仕込み」のソースではないんですよ。
ここを曖昧にしたままAI活用だけを進めると、経営者は「人件費を減らせる」「24時間働かせられる」「文句を言わない」という都合のいい部分だけを取り、事故が起きた時だけAIのせいにするでしょうが、そんな虫のいい話はありません。
人間へ仕事を任せる時より速く動き、人間より広い範囲を触り、人間より大量の行動をするのであれば、むしろ人間以上に、権限と責任の所在を細かく決める必要があります。
AIを導入するというのは、ソフトを契約することではなく、自分ではない何かに、会社の意思決定と行動の一部を渡すことだと言うことを、僕らはしっかり理解しておくべきですね。
AI時代に問われるのは、能力ではなく人間の管理能力
これからAIは、止まることなく、さらに進化し、賢くなっていきます。
今日できないことも、来月にはできるようになるでしょう。文章、デザイン、動画、営業、顧客対応、分析、開発と、仕事のかなりの部分を任せられるようになりますし、AIをまともに使わない人や会社は、どんどん不利になります。
だから、AIを怖がって使わないという結論はアホです。
車で事故が起きるから車を使わない、インターネットで犯罪が起きるからネットへつながないと言っているのと同じで、もう戻る選択肢なんてないんですね。
必要なのは、使わないことではなく、使いこなすことであり、その「使いこなす」の意味が、これから変わっていくということを、今回はお伝えしました。
上手なプロンプトを書ける、便利なツールを知っている、人より早くAIを導入した…みたいなことは、すぐに差にならなくなります。
本当に差が出るのは、AIへ何を任せ、どこで止め、どの判断だけは人間が持ち、何が起きた時に誰が責任を取るのかを設計できるかです。
要するに、AIの能力ではなく、人間の管理能力が問われるということです。
AIは、指示したことしかやらない道具ではなく、目的を渡せば、自分で手段を探す存在だからこそ、目的だけでは足りず、手段の制限も、守るべき相手も、捨ててはいけない価値も、一緒に渡さなければいけません。
AIが企業を攻撃した今回の事件は、未来の怖い話ではなく、「優秀なAIがあれば、経営者は何も考えなくてよくなる」という、しょうもない幻想が終わったという話です。
AIが賢くなるほど、人間は楽になりますが、人間の責任まで軽くなるわけではありません。
むしろ、AIへ大きな力を渡す人間ほど、これまで以上に考え続けなければいけないという、良い教訓になったんじゃないでしょうか。
