LLMジャッキングとは？
SHARE:
生成型AIの一部である大規模言語モデル（LLM）に対する攻撃は、ますます一般的になっています。 LLMジャッキングは、こうした新しい「リソースジャッキング」攻撃ベクトルの1つであり、AIセキュリティのバズワードとなっています。 では、LLMジャッキングとは何なのか、どのように機能するのか、そしてそれを防ぐにはどうすればよいのでしょうか？
この記事では、LLMジャッキングが明確に特定された攻撃ベクトルとして登場した経緯、この種の攻撃の仕組み、そしてそれらから身を守るために利用できるツールについて説明します。
この記事で学ぶこと
LLMジャッキングとは何か、そして企業がLLMジャッキングやその他のクラウドジャッキングの被害から回避する方法について学びましょう。
-
LLMジャッキング攻撃とはどのように行われるのですか？
-
貴社環境で防ぐ方法とは？
LLMジャッキングとは？
LLMジャッキングとは、Sysdigの脅威研究チーム（TRT）が作った造語で、盗んだ認証情報を使用して被害者の大規模言語モデル（LLM）にアクセスする攻撃者のことを指します。 簡単に言えば、LLMを乗っ取る行為です。
クラウドホスト型LLMを使用するあらゆる組織は、LLMジャッキングのリスクにさらされています。攻撃者は、LLMを標的にする理由として、個人的なチャットやイメージ生成にLLMを使用するといった比較的無害なものから、悪意のあるコードの最適化やツール開発、さらにはモデルの汚染や機密情報の窃取といった潜在的に有害な活動まで、さまざまな理由を挙げています。
We created the singular term “LLMjacking” (instead of “LLM jacking”) for a reason: We wanted it to be a unique, easily searched term that is distinct from the general terms “LLM attack” and “cloud jacking” that could be confused by search engines and LLMs themselves.
LLMジャッキング攻撃はどのように行われるのですか？
2024年4月、Sysdig TRTは、パッチ未適用の脆弱性を持つクラウド環境を標的とした新たなタイプの攻撃を初めて発見しました。攻撃者の目的は、クラウド認証情報を特定して外部に持ち出し、アクセス可能なLLMを探すことでした。
Sysdig TRTが最初に発見したLLMジャッキングの攻撃者は、スクリプトを使用して被害者の環境でLLM認証情報を検索し、特定していました。
SysdigSysdig TRTは、攻撃者が以下のLLMを攻撃対象としていることを発見しました。攻撃者は進化を続け、他のAI製品やプラットフォームを標的にしているため、このリストは完全なものではありません。
- AI21 Labs
- Anthropic
- AWS Bedrock
- Azure
- ElevenLabs
- MakerSuite
- Mistral
- OpenAI
- OpenRouter
- GCP Vertex AI
どのAIツールを使用しているかに関わらず、セキュリティリスク評価がサイバーセキュリティ攻撃の新たな対象としてそれらをカバーしていることを確認する必要があります。
LLMジャック攻撃の潜在的な影響とはどのようなものでしょうか？
LLMサービスがすべて無料かつオープンソースというわけではありません。AWS、Azure、GCPなどのクラウドサービスプロバイダーは、AIツールの利用に料金がかかるLLMサービスを提供しています。これがLLMジャッキングの最初の結果をもたらします。つまり、費用がかかるということです。例えば、LLM攻撃によりAWS Bedrockサービスの消費料金が1日あたり4万6000ドル以上に達する可能性があります。Claude 2.x vs Claude Opus 3のような新しいモデルでは、1日あたり10万ドルに達することもあります。
Sysdig TRTによって発見されたある特定の攻撃者は、多数のアカウントへのアクセスを収集し維持しており、ダークウェブ上でこれらのアカウントへのアクセスを販売している可能性があることを示しています。
金銭的な懸念以外にも、悪意のあるユーザーがLLMにアクセスすることで、より深刻な結果をもたらす可能性があることが数多くあります。
- データ汚染：攻撃者は、意図的に不正確な情報をモデルに与えることで、データを汚染し、正当なリクエストに不正確な回答を返すことができます。これはまだ公に報告されていませんが、企業の業務や評判に損害を与える可能性のある現実的なリスクです。
- 機密情報の盗難：攻撃者は機密情報や企業秘密を盗むことができます。この種のLLM攻撃もまだ公には報告されていませんが、従業員が大量の社内データをより迅速に照会できるようにLLMを使用している組織があることは知られています。適切な質問をすることで、攻撃者はさらに違法行為を行うために必要な機密情報を入手できる可能性があります。
- 悪質な活動の実行：Sysdig TRTは、LLMにアクセスしてさまざまな悪質な活動を行う攻撃者を特定しています。攻撃者は、ソーシャルエンジニアリングの草案作成、悪意のあるコードやツールの開発や修正、または、他の場所でアクセスが禁止されている可能性がある倫理規定に反する行動など、さまざまな理由でLLMに無料でアクセスすることができます。
LLMジャッキングからの防御
Sysdigは、LLMジャックやその他のリソースジャックの被害に遭わないための重要な方法をいくつか特定しました。これらの対策は、可視性を提供し、幅広いクラウド環境を保護するように構築されたクラウドネイティブツールを使用して実装するのが最適です。
ほぼすべての攻撃には、何らかのアイデンティティが関与しています。4月に発見されたLLM攻撃は、盗まれた認証情報から始まり、LLMアクセスの乗っ取りと悪用につながりました。HashiCorp Vaultなどの機密管理プラットフォームを使用することで、盗まれる可能性のある認証情報が平文で保存されないようにすることができます。これに加えて、特権の最小化の原則を積極的に導入し、特権の昇格や横方向への移動の機会を攻撃者に与えないようにする必要があります。非アクティブなユーザーや過剰な権限を持つアイデンティティを特定して対処することで、攻撃の被害範囲を最小限に抑えることができます。
もし、運用環境で悪用可能な脆弱性を抱えている場合、LLMジャック以外の攻撃の標的となるリスクが高くなります。 悪用可能な脆弱性は、パッチを適用してリスクを軽減しましょう。 あるいは、運用環境からそれらのワークロードを取り除き、再構築します。脆弱性を放置しておくリスクを冒す価値はありません。
LLMジャッキング（およびその他のリソースジャッキング）攻撃を防ぐためのツール
すでに存在する設定ミスは、大きなセキュリティリスクであり、攻撃者にとっての容易な侵入経路となります。クラウドやハイブリッド環境にエンドツーエンドの可視性を確保することで、危険な設定ミスをリアルタイムで事前に検知し、リソースジャックに対する防御体制を強化することができます。Sysdigが提供するAIワークロードセキュリティは、AIを利用するすべてのワークロードにおける脆弱性や設定ミスを、その存在を認識しているかどうかに関わらず、特定して強調表示します。これにより、最も機密性の高いデータに対する既知および未知の脅威を優先付けし、保護し、積極的に防御することができます。
クラウドとハイブリッド環境の組み合わせと、あらゆるものをサービスとして提供するという継続的な動きにより、セキュリティは複雑化し、アクティブな脅威の検知と対応はますます困難になっています。
LLMジャックやその他のリソースジャックの脅威については、2023年グローバルクラウド脅威レポートやSysdigのクラウド攻撃のしくみを分析で詳しく説明しています。