ELLの足跡

人は最後は一人だという…でも、…今は妻が傍にいてくれる…

隠し文字を埋め込んだ画像を生成AIに読み込ませて意図的に誤作動を起こさせる攻撃手法が!!

サイバー攻撃イメージ


文字入りの画像AI読込ませる!!
悪意ある命令を挿入し標的に送信!!

間接的なプロンプトインジェクション攻撃!!
サイバー攻撃イメージ
 生成AIに対して人間の指示を模した不正な入力を仕掛け、敢えて誤動作を引き起こさせる高度な攻撃テクニックのプロンプトインジェクション攻撃が増えてきているようです。
 新たな攻撃手法は「画像スケーリング攻撃」と呼ばれているらしく、「ユーザーが生成AIシステムに画像をアップした際、大きな画像はAIモデルに送信される前に縮小されることが多い」という点に着目して隠し文字を埋め込むことでAIにアップした隠し文字のプロンプト(指示)を実行させるというもののようです。

一見普通に見える画像
一見普通に見える画像
 左の画像は一見すると普通の画像に見えますよね・・・

 でも、この画像には隠し文字が隠れているということらしいので私も調べてみようと思います。
トーンカーブ補正をしてみると…
トーンカーブ補正

 私が持っている画像編集ソフト「デジカメの達人」を使用して、トーン補正を行ってみたところ・・・あっ!!

 何やら、アルファベットの文字が浮かび上がってきましたね・・・
 この隠し文字を生成AIがプロンプトとして読み込んでしまって実行してしまうということのようです。

 この手法は・・・
 嘗て、ネット初期の頃に、Webサイトをロボット検索にヒットさせようと隠し文字をHTMLの中に沢山書き込んでいるサイトが多くありましたが、そのやり方と同じなんですよね・・・

 ただ、生成AIに読み込ませてしまうとかなり深刻な状態になるということなんです。

 Web上から拾ってきた画像などを生成AIに読み込ませる場合には、本当に注意しなければなりませんね。

 

にほんブログ村 PC家電ブログ パソコンの豆知識へパソコンランキング