本文の内容は、2024年12月20日に ashish chakrabortty が投稿したブログ(https://sysdig.com/blog/strengthen-llms-with-sysdig/)を元に日本語に翻訳・再構成した内容となっております。
LLMjacking という用語は、攻撃者が盗んだクラウド認証情報を使用して、OpenAI の GPT や Anthropic Claude などのクラウドベースの大規模言語モデル (LLM) に不正にアクセスすることを指します。このブログでは、Sysdig を使用して LLM を強化する方法を説明します。
この攻撃は、犯罪者が盗んだ認証情報やクラウドの誤った構成を悪用して、クラウド内の高価な人工知能 (AI) モデルにアクセスすることで実行されます。アクセスに成功すると、被害者の費用で高価な AI モデルを実行できます。Sysdig 2024 Global Threat Reportによると、これらの攻撃は経済的損害をもたらし、特に LLMjacking は標的の組織に 1 日あたり最大 10 万ドルのコストをもたらします。
大規模言語モデル (LLM) の課題とリスク
大規模言語モデル (LLM) には、次のような特有の課題とリスクがあります。
- コントロールプレーンとデータプレーンの分離が欠如: コントロールプレーンとデータプレーンを分離できないと、脆弱性が高まります。これにより、脅威アクターはセキュリティギャップを悪用して入力を操作したり、機密データにアクセスしたり、意図しないシステムアクションをトリガーしたりできるようになります。一般的な戦術には、プロンプトインジェクション、システム間のデータ漏洩、意図しないコード実行、トレーニング データの汚染などがあります。これらの攻撃により、機密性、整合性、下流のシステムに送信される指示が危険にさらされます。
- 攻撃対象領域の拡大: LLM の使用により、組織の攻撃者に対する脆弱性が拡大します。マルウェアやその他の悪意のあるソフトウェアで独自の AI システムをトレーニングするサイバー犯罪者は、次の方法で攻撃を大幅に強化できます。
- 検出を回避するマルウェアの新しい高度な亜種を作成する
- カスタマイズされたフィッシングスキーム（ここでの例に類似）とソーシャルエンジニアリング用のディープフェイクを作成する
- 革新的なハッキング技術の開発
回復力と脅威軽減のための戦略
LLMjacking から保護するには、組織は運用の回復力を維持しながら AI リソースを保護するための強力なセキュリティ対策を採用する必要があります。重要な戦略には、厳格なアクセスコントロールの実施、シークレット管理を使用した認証情報の保護、詳細なログ記録の有効化による API のやり取りと異常な課金の監視などがあります。
モデルへのアクセスコントロールや不正な変更の監視などの構成管理プラクティスは不可欠です。さらに、組織は進化する脅威について常に情報を入手し、インシデント対応計画を策定し、敵対的トレーニングや入力検証などの対策を実施して、モデルの悪用に対する耐性を強化する必要があります。これらの手順を総合的に実施することで、不正アクセスや悪用リスクを軽減できます。
SysdigでLLMを強化する
Sysdig は、LLM ジャッキングに対する攻撃対象領域を保護および削減し、LLM を強化するためのいくつかの戦略をお客様に提供しています。
AIワークロードのセキュリティを強化する
- AIシステムを安全に保つために、SysdigのAIワークロードセキュリティツールを使い始めましょう
- AIインフラの脆弱性を特定することを優先する
- 定期的にシステムをスキャンして、LLMジャッキングの潜在的な侵入ポイントを見つけて修正する
Sysdig の統合リスク検出機能は、すべてを 1 つにまとめ、相関するリスクとイベントを明確かつ合理化して表示します。AI ユーザーにとって、これは AI 関連のリスクの優先順位付け、調査、対処を効率的に行うことが容易になることを意味します。
以下の例では、Sysdig Secure を使用して、脆弱な AI パッケージが検出されたすべてのリスクをフィルタリングしました。
Sysdig エージェントは、カーネルレベルのインストルメンテーション (カーネルモジュールまたは eBPF アプリケーション経由) を使用して、実行中のプロセス、開かれているファイル、ネットワーク接続など、内部で発生しているすべてのことを監視します。これにより、エージェントは、コンテナ内でアクティブに実行されているプロセスと使用されているライブラリを識別できます。
クラウド環境を明確に可視化
- クラウドおよびハイブリッド環境のリアルタイム監視を設定する
- 疑わしい設定変更があった場合にアラートを作成し、迅速に対応できるようにします。
- セキュリティ問題が深刻化する前にそれを捕捉するためのプロアクティブな検出方法を確立する
Sysdig は、リスクの優先順位付け、攻撃パス分析、インベントリを組み合わせて、リスクの詳細かつ包括的な概要を提供し、LLM の強化に役立ちます。
これらのリスクは、脆弱性のある AI パッケージが実行時に実行されるため、重大として分類されます。Sysdig がこのワークロードをリスクとしてフラグ付けした理由をより深く理解するために、openai-app としてタグ付けされた影響を受けるリソースの 1 つを調査します。
脆弱な AI パッケージを実行している影響を受けるワークロードはインターネットに公開されており、脅威の攻撃者が機密情報にアクセスできる可能性があります。
Sysdig Secure は、リソースが重大な CVE や既知のエクスプロイトに対して脆弱であること、特権モードで実行されていること、管理ポリシーによって検出された 1 つ以上のランタイム イベントをトリガーしていることなど、追加のリスク要因も強調表示します。これらの要因により、リスク レベルが重大に引き上げられます。
Sysdig Secure は、詳細なコンテキストを提供するだけでなく、解決までの期間も短縮します。提案される修正は正確で、特定されたリスク要因の修正に役立ちます。たとえば、この重大なリスクを軽減する 1 つの方法は、攻撃者がコンテナのルート ファイル システムを変更するのを防ぐパッチを適用することです。
Sysdig は、リスクが発生している場所、関連する脆弱性、ランタイム環境で検知されたアクティブな脅威など、攻撃パス上のすべてを記録します。これらの洞察は、検知方法をカスタマイズして強化し、さらなる侵害を防ぐのに役立ちます。
スマートな脅威検知ツールを活用する
- FalcoやSysdig Secureなどのツールを有効にして、潜在的な脅威を監視します。
- 認証試行を追跡し、異常なパターンや不正アクセスを監視します
- 迫り来る攻撃を示唆する偵察活動に警戒してください
この例では、攻撃パスのリスク要因を確認しているときに、Sysdig が通常とは異なる場所に作成された疑わしいホーム ディレクトリを検知したことがわかります。これは、攻撃者がバックドアユーザーを設定しようとしたことを示している可能性があります。これにより、攻撃者は不正アクセスを維持し、痕跡を隠し、検出されないようにすることを目的としている可能性があります。
セキュリティ チームは、Sysdig Sage を利用して、さらに深く調査し、攻撃者の動機を明らかにすることもできます。
このケースでは、Sysdig Sageを使用して脅威アクターによって実行されたコマンドを分析しました。その結果、新しいユーザー「nairobi」が作成され、ホームディレクトリが一時ファイルストレージである /dev/shm/zeus に設定されていることが判明しました。このような異常なホームディレクトリの選択は、疑わしい活動の可能性を示唆する重要な警告サインとなります。
それでは、ワークロードに戻り、攻撃者が環境にアクセスし侵害することを可能にした可能性のある構成ミスを詳しく確認してみましょう。
アクセスをコントロールする
- クラウド環境を安全に保つためにクラウドセキュリティポスチャ管理(CSPM)を実装する
- クラウド インフラストラクチャー権限管理(CIEM)を使用して、権限が最小限に抑えられるようにします。
- 最小権限の原則に従い、ユーザーに本当に必要なレベルのアクセスのみを付与します。
ログ記録と監視の実践を強化する
- クラウドとシステムのアクティビティの詳細なログ記録をオンにします
- 疑わしい行動を追跡するために徹底した監査証跡を保存する
- 異常を検知し、インシデントに対する迅速な対応計画を作成するための自動化システムを構築する
調査の結果、おそらく「nairobi」ユーザー アカウントの作成を可能にし、先ほど観察したイベントを引き起こしたと思われる、セキュリティ設定ミスの広範なリストが明らかになりました。たとえば、Sysdig は、コンテナに禁止されている機能があり、チェックしないと潜在的なセキュリティリスクを引き起こす可能性があることを示しています。
Sysdig は、誤った構成を発見するだけでなく、ワークロードのアクティビティを監視し、実際の攻撃に至るまでのイベントのタイムラインを記録します。このシナリオでは、ワークロード openapi-app からの過去 7 日間のイベントをフィルタリングし、プロセス ツリーを調査します。
Sysdig Secure を使用すると、セキュリティチームはイベントの系統を簡単に分析し、プロセスの動作を視覚化してそれらの関係を理解し、疑わしいアクションや予期しないアクションを発見できます。これにより、根本原因を特定し、影響の大きいイベントをグループ化し、盲点にタイムリーに対処できるようになります。
アクション:
- 現在の設定のセキュリティを素早く評価する
- 必要に応じてAIインフラストラクチャーのセキュリティ構成を更新する
- セキュリティチームにLLMジャッキングの試みを見分ける方法をトレーニングする
- セキュリティプロトコルを定期的に見直し、更新する
これらの親切なヒントに従うことで、組織を LLM ジャッキングから保護し、LLM を強化し、AI リソースのセキュリティと保護を維持することができます。
さらに詳しい情報については、 Sysdig ブログをご覧ください。また、当社の専門家とつながりたい場合は、遠慮なくご連絡ください。皆様からのご意見をお待ちしています。