訴訟書類に隠されたAIへの指示、米判事が見抜き電子提出を禁止

米国の裁判所で、提出書類にAI向けの隠し指示を書き込む「プロンプトインジェクション」が初めて確認された。Ars Technicaによると、コネチカット州の医療記録開示をめぐる訴訟で、原告のマシュー・エリオット氏が提出書類の中に、人間には見えないが文書を読み取るソフトウェアには判読できる形式で指示文を紛れ込ませていた。担当のウォルター・スペイダー・ジュニア判事は先週公表した決定で、この隠し指示は裁判の結論には影響しなかったと認めたうえで、試みそのものは「危険な」前例だと警告した。日本のINTERNET Watchも同日、この一件を海外の話題として伝えている。

見えない文字に隠された指示

問題の一文は、極小フォントで白地に白文字にするなどして人間の目には映らないよう加工されていた。指示の内容は、書類を読み取るAIに対して原告の主張どおりの結論を出すよう求め、裁判所の過去の却下判断を無視し、望みどおりの是正措置を取らせようとするものだった。エリオット氏は弁護士を立てない本人訴訟(プロ・セ)の当事者で、それまでの主張が退けられたあと、AIが書類を審査することを見込んでこの手口に及んだとみられる。

エリオット氏は、裁判所からこの手口について警告を受けたあとも隠し文字を書類に追加し続けた。追加された文には「冗談のつもりだった」として、ホラー映画『ノスフェラトゥ』のYouTube動画へのリンクや「見えないといいな」といったメッセージ、意味不明な文言が含まれていたという。スペイダー判事は、制裁を警告する審理のあとも隠し文字を続けたことを「驚くべきこと」だとし、「重大な訴訟濫用」だったと結論づけた。コネチカット州の裁判所は書類の審査や判断にAIを使っていないため、この試み自体が判決に影響することはなかったが、判事はほかの州や国の裁判所ではAIによる審査が実際に使われている点を踏まえ、警戒を呼びかけた。

米国では初、しかし世界初ではない

スペイダー判事は、これが米国の裁判所で確認された初めての事例とみられるとしつつ、ブラジルの裁判所で同様の手口を使った弁護士2人の事例に言及した。ブラジルのケースでは実際にAIが書類審査に使われていた法廷で同じ攻撃が試みられたが、AIシステムが処理前に隠し文字を検知し、関与した弁護士らは約1万6000ドルの制裁金を科されたという。エリオット氏に金銭的な制裁はなかったものの、判事は今後の電子提出を禁止し、印刷した書類の提出のみを認める措置を取った。

• 手口: 提出書類に人間には読めない微小・白色文字でAI宛ての指示を埋め込む「プロンプトインジェクション」
• 結果: コネチカット州はAIで書類を審査しておらず、判決への実質的な影響はなし
• 制裁: 電子提出の禁止、以後は紙の書類提出のみ。金銭的な制裁金はなし
• 海外の前例: ブラジルの裁判で弁護士2人が同種の手口を使い、約1万6000ドルの制裁金

AIを使う日本の当事者・弁護士にとっての教訓

今回の一件は米国の話だが、日本の裁判所でも書類の電子提出やAIを使った業務効率化の検討が進むなかで、他人事とは言い切れない。スペイダー判事が指摘したもう一つの論点は、プロンプトインジェクションそのものより根深い。本人訴訟の当事者がAIチャットボットに自分の主張を後押しさせるだけで、反対意見を検証させずに議論を組み立てると、誤った主張であっても引っ込みがつかなくなりやすいという指摘だ。日本でAIを使って書類を作成する弁護士や本人訴訟の当事者にとっても、AIには自分の立場を代弁させるだけでなく、あえて反論させてみることが、結果として説得力のある書面につながる教訓だといえる。