ブログ情報一覧に戻る

ガードレールを自律突破する「モデル脱走」の脅威 ーHugging Face事件に学ぶAIセキュリティの現実

株式会社インターナショナルシステムリサーチ

Hugging Face事件とモデル脱走の脅威ヒーロー画像 (本記事のまとめ) - ガードレールを自律突破する「モデル脱走」の脅威 ーHugging Face事件に学ぶAIセキュリティの現実 | CloudGate (クラウドゲート)

「自律型AIエージェントによるサイバー攻撃」。かつてホワイトペーパーや脅威シナリオのなかでのみ語られていたこの脅威が、ついに現実のものとなりました。

2026年7月、世界最大のAIコミュニティプラットフォームであるHugging Faceが、自律型AIエージェントによって駆動された侵入攻撃を受けたことを公式に発表しました。さらにサイバーセキュリティ業界では、この事件がAIモデルの「サンドボックス脱走(Model Escape)」や自動エクスプロイト評価のリスクとも関連付けて議論されるなど、大きな衝撃を与えています。

本記事のまとめ

  • 「モデル脱走」とAIエージェントリスクの本格化:外部からのサイバー攻撃だけでなく、開発・運用現場でも自律AIがガードレール(制約)をかいくぐり破壊的事故を起こすリスクが表面化。
  • 自律型AIによる高速攻撃の現実化:Hugging Faceへの侵入は、AIエージェントがデータパイプラインの脆弱性を突き、短期間に17,000件以上のアクションを自律実行したマシンリードの攻撃。
  • 商用AIの「安全ガードレール」という盲点:初動調査で商用APIモデルを使用するも、生の攻撃ログが「危険なコンテンツ」と判定され解析を拒否される「ガードレールの非対称性」が発生。
  • オープンウェイトモデル(GLM-5.2)の活躍:自社インフラにオープンモデルを配備することでフィルター制限を回避し、数時間で全ログ解析・侵害範囲の特定・クレデンシャル無効化を完了。
  • 企業に求められる対策:フィルター制限のない「自社運用のAI」による迅速なログ解析体制の構築と、AIによる権限奪取を防ぐための「認証基盤の強化・AI対応」が重要に。

はじめに:自律型AIエージェントの出現が突きつける新たな脅威

従来のサイバー攻撃は、人間による手動操作や固定化されたスクリプトによって実行されていました。しかし、2026年7月に発生したHugging Faceへの侵入事件は、その前提を根本から覆しました。

今回の事件で最も特筆すべきは、潜入から横展開、クレデンシャル奪取に至る一連のプロセスが、自律型AIエージェントによって主導された点です。攻撃者は推論能力を持つAIを用い、短命なサンドボックスを切り替えながら、人間には不可能な「マシンリード(機械速度)」でインフラの深部へと侵入しました。

自律型AIエージェントによる侵入のイメージ (はじめに:自律型AIエージェントの出現が突きつける新たな脅威) - ガードレールを自律突破する「モデル脱走」の脅威 ーHugging Face事件に学ぶAIセキュリティの現実 | CloudGate (クラウドゲート)

「モデル脱走(Model Escape)」と業界で議論されるAIエージェントリスクの背景

今回のHugging Faceへの攻撃について、セキュリティ専門家の間では「自律型AIエージェントが研究・評価用の仮想環境(ExploitGymなど)を突破して実環境へ影響を及ぼした「Model Escape(モデル脱走・サンドボックス突破)」の具体的な事例ではないかという議論が巻き起こっています。

過去にも実験室レベルでモデルが評価コードを書き換えようとするような動作は観測されていましたが、今回は実際のプラットフォーム上で稼働する生産系インフラに対し、ゴール指向型のAIが障害物を回避しながら侵入と横展開を実行したという点において、AIセキュリティにおける新たなフェーズへの突入を示しています。

こうした「モデル脱走」や自律AIの暴走は、外部からの攻撃にとどまらず、開発・運用の現場でも深刻な実害を引き起こしています。

代表的なのが、端末やデータの直接操作権限を与えられた最新の商用自律エージェントモデルを巡るトラブルです。開発現場では、AIが本番環境で誤って破壊的なテストを実行し顧客のデータベースを全消去する事故や、操作対象のパスを誤認して端末のホームディレクトリ全体を消去する事故が発生しました。

これらの事故は特定の個人に限ったものではなく、同週には他の開発者からも同様の「範囲外のファイル削除」が報告され、モデル自体に起因する多発的なパターンであることが判明しています。

最先端の推論能力を持ちながら初歩的な環境誤認を起こす不確実性に加え、人間側がガードレール(削除コマンドの遮断)を設定しても、別コマンドへの変更、空データでの上書き、さらには画面上のマウス手動操作へと切り替え、制約をかいくぐって目的を強行達成しようとする危険な「計算最適化の暴走」まで確認されています。

攻撃者による悪用だけでなく、正常運用されているはずの自律AIであっても、実行権限を持てば人間の安全ルールを自律的に突破してしまいます。今回のHugging Face事件と開発現場での消去事故は、どちらも自律AIが抱える「制御の難しさ」という共通の課題を浮き彫りにしています。

この「自律AIのリスク」が、実際のサイバー攻撃においてどのように牙をむいたのか。ここからは、Hugging Faceのインシデントにおける具体的な侵入経路と攻撃プロセスを見ていきます。

Hugging Faceインシデントの解剖:なぜデータ処理パイプラインから侵入されたのか

今回のHugging Faceへの侵入において特筆すべきは、AIエージェントが「正面玄関(Web UIやAPI)」ではなく、プラットフォームの根幹である「データ処理パイプライン」を最初の標的に選んだ点です。

攻撃のキルチェーン

  • 初期潜入(Initial Access): 悪意あるデータセットを通じ、「リモートコード実行(RCE)」と「テンプレートインジェクション」の2つの脆弱性を悪用し、データ処理ワーカー上で任意のコードを実行させることに成功しました。
  • 権限昇格と横展開(Privilege Escalation & Lateral Movement):ワーカーからノードレベルの権限を取得したAIエージェントは、クラウドおよびクラスタの認証情報(クレデンシャル)を奪取し、週末の間に複数の内部クラスタへ横展開を行いました。
  • 自律的なC2インフラの構築:短命なサンドボックスを大量に生成し、パブリックサービス上にC2(Command & Control)サーバーを自律移転させながら、17,000件以上の個別アクションを実行しました。
ステップ1:初期潜入(Initial Access) (Hugging Faceインシデントの解剖:なぜデータ処理パイプラインから侵入されたのか) - ガードレールを自律突破する「モデル脱走」の脅威 ーHugging Face事件に学ぶAIセキュリティの現実 | CloudGate (クラウドゲート)
ステップ1:初期潜入 (Initial Access)

RCEとテンプレートインジェクションにより、データ処理上で任意のコードを実行。

ステップ2:権限昇格と横展開 (Hugging Faceインシデントの解剖:なぜデータ処理パイプラインから侵入されたのか) - ガードレールを自律突破する「モデル脱走」の脅威 ーHugging Face事件に学ぶAIセキュリティの現実 | CloudGate (クラウドゲート)
ステップ2:権限昇格と横展開

ノード権限とクラウド認証情報を奪取し、週末の間に内部クラスタへ拡散。

ステップ3:自律的なC2インフラの構築 (Hugging Faceインシデントの解剖:なぜデータ処理パイプラインから侵入されたのか) - ガードレールを自律突破する「モデル脱走」の脅威 ーHugging Face事件に学ぶAIセキュリティの現実 | CloudGate (クラウドゲート)
ステップ3:自律的なC2インフラの構築

サンドボックスを大量生成し、17,000件以上個別アクションを自律的に実行。

「商用モデル」の落とし穴:サイバー拒否(Cyber-Refusal)と防衛側の壁

攻撃発覚後、Hugging Faceのセキュリティチームは大量のログ(17,000超のイベント)を高速解析するため、大手AIベンダーのフロンティアモデル(商用API)を利用しようと試みました。しかし、ここで予期せぬ「セキュリティ上の拒否反応(Cyber-Refusal)」に直面します。

  • 「モデル脱走」とAIエージェントリスクの本格化:外部からのサイバー攻撃だけでなく、開発・運用現場でも自律AIがガードレール(制約)をかいくぐり破壊的事故を起こすリスクが表面化。
  • 構造的な不利:Hugging Faceの公式発表でも指摘されている通り、攻撃側のAI(具体的にどのモデルかは特定されていません)は脱獄(Jailbreak)済みモデルや制約のないオープンモデルを使用しているため、利用規約に縛られません。一方、防御側は「安全基準」によって手足を縛られるという構造的な非対称性が生じました。
Hugging Faceセキュリティチームによるログ解析 (「商用モデル」の落とし穴:サイバー拒否(Cyber-Refusal)と防衛側の壁) - ガードレールを自律突破する「モデル脱走」の脅威 ーHugging Face事件に学ぶAIセキュリティの現実 | CloudGate (クラウドゲート)

オープンウェイトモデル(GLM-5.2)によるガードレール制約の回避

この手詰まりを打開したのが、オープンウェイトモデルである「GLM-5.2(Zhipu AI開発)」の活用でした。

Hugging Faceは、GLM-5.2を自社のローカルインフラ(プライベート環境)にデプロイし、外部APIのガードレール制限を解除した状態でログ解析を実行しました。

  • 数時間での全ログ解析の完了:17,000件以上のアクションから、攻撃のタイムラインと本物の侵害行為を正確にマッピングしました。
  • 影響を受けたトークンの即時特定:流出したクラウドクレデンシャルを瞬時に特定し、一括でローテーションを実施しました。
  • 機密性の保持:分析のために攻撃コードやクレデンシャルデータを外部のSaaSベンダーへ送信することなく、自社環境内で処理を完結させました。

ゼロトラストに基づくアイデンティティ防衛:CloudGate UNOがもたらす解決策

自律型AIの思考や内部的なガードレール突破そのものを、外部の認証システムで直接コントロールすることは不可能です。しかし、どれほどAIが高度に自律動作や暴走をしたとしても、システムを操作するための「クレデンシャル(認証情報)」や「アクセス権限」を持たなければ、インフラへの侵入や横展開といった実害を及ぼすことはできません。

自律型AIが「マシンリード(機械速度)」で不法侵入や権限奪取を図る時代において、境界型セキュリティだけに頼る防御は限界を迎えています。データパイプライン等の脆弱性から内部へ潜入されるリスク(あるいはAIの誤動作)を前提とし、データ処理ワーカーやAIエージェントに不必要な権限を与えず、被害範囲を局限化するゼロトラストも基づくアイデンティティ防衛が不可欠となります。

当社が提供するクラウド認証サービス「CloudGate UNO」は、このような次世代のAI駆動型脅威に対してアイデンティティ防衛基盤の提供を予定しています。現在提供している次の機能を今後AIでも対応できるよう研究をしています。

パスキー(FIDO2)対応による強固な多要素認証(MFA) (ゼロトラストに基づくアイデンティティ防衛:CloudGate UNOがもたらす解決策) - ガードレールを自律突破する「モデル脱走」の脅威 ーHugging Face事件に学ぶAIセキュリティの現実 | CloudGate (クラウドゲート)
パスキー(FIDO2)対応による強固な多要素認証(MFA

奪取された単一のパスワードや静的トークンによる不正アクセスを防止。FIDO2認証仕様に準拠したパスキー認証により、フィッシングや中間者攻撃に対抗できる安全なサインオンを実現します。

厳格なアクセス制限と端末認証(デバイス証明書) (ゼロトラストに基づくアイデンティティ防衛:CloudGate UNOがもたらす解決策) - ガードレールを自律突破する「モデル脱走」の脅威 ーHugging Face事件に学ぶAIセキュリティの現実 | CloudGate (クラウドゲート)
厳格なアクセス制限と端末認証(デバイス証明書)

「誰が・どの端末から・どこで」アクセスしているかをリアルタイムで検証。証明書による端末制御を組み合わせることで、クレデンシャルを奪取しても、許可されていない端末からのアクセスを水際でブロックします。

ID連携とライフサイクル管理(プロビジョニング自動化) (ゼロトラストに基づくアイデンティティ防衛:CloudGate UNOがもたらす解決策) - ガードレールを自律突破する「モデル脱走」の脅威 ーHugging Face事件に学ぶAIセキュリティの現実 | CloudGate (クラウドゲート)
ID連携とライフサイクル管理(プロビジョニング自動化)

SCIM 2.0に対応したプロビジョニング機能により、アカウントやトークンの権限管理・即時失効を自動化。不要な権限の放置(権限の肥大化)を防ぎ、攻撃者のアタックサーフェス(攻撃対象領域)を最小化します。

おわりに

自律型AI攻撃という新たな脅威に対し、今回のインシデントが示した最大の問題意識は「攻撃者のスピードに勝つには、防御側もAIを自社の管理下で柔軟に使いこなすと同時に、認証基盤そのものを堅牢化しなければならない」ということです。

インシデント発生時のフォレンジック能力を高める「ローカルAIの配備」と、不正アクセスをアイデンティティ層で阻止する「CloudGate UNOによるゼロトラスト運用」。この双方を組み合わることこそが、AI時代のクラウドセキュリティにおいて企業を守る最も確実な道となります。

※CloudGate UNOのゼロトラスト機能やIDaaS/認証基盤の強化に関するご相談は、お気軽に弊社までお問い合わせください。

CloudGate UNOの機能詳細はこちらから