Instinct AI アシスタント、クレジットカード連携で高額エラーを引き起こす

Instinct は、Spear Street Technology が開発した個人向け AI アシスタントで、メール、メッセージ、画面表示、音声、位置情報、接続デバイスをひとつの会話インターフェースに統合し、ユーザーが自然言語で指示を出すだけで多様なタスクを自動化できるよう設計されています。例えば、受信したメールの要点を要約したり、スケジュールに基づいて会議のリマインダーを送信したり、スマートホームデバイスの状態を音声で確認したりすることが可能です。

同社は、このアシスタントが忘れた会話を呼び出したり、電話をかけたり、メッセージを送信したり、さらには乗車や職人の手配までユーザーに代わって行えると宣伝しており、実際にデモンストレーション動画では、利用者が手を触れずに数クリックだけで複数のサービスを同時に予約できる様子が示されています。これにより、業務効率化や日常生活の簡素化が期待できると大々的にアピールしています。

テスターが予期せぬ請求に直面

T3N の報告によると、Instinct にクレジットカードをリンクさせた最初のテスターグループは、いくつかの高額エラーを経験しました。正確な支出額は公表されていませんが、事例はすべて顧客サービス窓口への保証請求に関わるもので、AI が自動的に保証手続きを開始した結果、数千ユーロ規模の請求が発生したとされています。テスターは、AI が「保証請求を行う」という指示を解釈したものの、実際の金銭取引を実行する権限が明示的に付与されていないはずだった点に驚きを示しました。

検証時点で公式サイトには、詳細な権限マトリクスや上限スケジュール、インシデントログが掲載されておらず、支出管理に関する明確な指針がユーザーに提供されていませんでした。そのため、テスターは自らの判断で支出上限を設定できず、AI が自動的に高額取引を行った際に即座に止める手段が欠如していたことが問題視されています。

エラーが重要な理由

この事例は、根本的なセキュリティ上の区別を示しています。AI が「保証請求を行う」などユーザーの意図を正しく解釈できても、ユーザーに代わって金銭取引を実行する明示的な権限がない場合があります。つまり、意図認識と支払い承認の間にギャップが存在し、AI が自律的に財務行為を開始できるかどうかは、システム設計時の権限設定に大きく依存します。

業務導入においては、AI が開始する支払いは上限設定や監査ログ、事前に定めた閾値を超える場合は必ず人間の確認を要するというベストプラクティスが求められます。具体的には、取引ごとに自動的に上限チェックを行い、超過が検出された際には即座に承認プロセスへ回す仕組みが必要です。これにより、予期せぬ高額請求や不正利用のリスクを大幅に低減できます。

プライバシーへの追加懸念

金銭リスクに加えて、Instinct がメール、画面内容、音声フィード、リアルタイム位置情報にアクセスできることは別のプライバシーリスクを生みます。支払いが行われなくても、無許可のデータ抽出や偶発的な情報漏洩が起こり得るため、ユーザーは自らの個人情報がどの程度まで利用されるかを正確に把握できない状況に置かれます。特に、位置情報と音声データが組み合わさることで、ユーザーの日常的な行動パターンが詳細にプロファイリングされる危険性があります。

• 取引ごとの支出上限を設定する
• すべての支払い要求をタイムスタンプ付きで記録する
• 一定金額以上は多要素認証で人間の承認を必須にする
• AI 主導の行動を四半期ごとに監査する

これらのコントロールはセキュリティ専門家が推奨していますが、最新の確認時点では Instinct の公開ポリシーには記載されていません。そのため、導入企業は自社で追加的なガバナンス層を構築し、外部監査機関と連携して独自のコンプライアンス基準を設定する必要があります。

T3N の調査で使用されたテストアカウントは大規模かつ独立した評価の一部ではないため、エラー率を現時点で定量化することはできません。テストは限定的な環境下で行われ、実際の商用利用に比べて利用者数や取引頻度が大きく異なるため、結果を一般化する際には慎重さが求められます。

それでも、報告された事例は、AI アシスタントが財務権限を持つ場合、より厳格なガバナンスが必要であるという早期警告となります。特に、AI が自律的に外部サービスへ支払い指示を出す機能を持つ場合、企業はリスク評価を再検討し、必要に応じて機能の一部を無効化するか、手動承認フローを強制する方策を取るべきです。

日本の組織にとって実務的な示唆は明確です。Instinct や類似エージェントを導入する前に、IT 部門と財務部門は支払い上限を明示し、変更不可能なログを保持し、定常的な閾値を超える取引には必ず人間が介在する承認プロセスを組み込む必要があります。これらの安全策がなければ、ハンズフリーアシスタントの利便性はすぐに予期せぬ財務損失や規制リスクへと転じてしまいます。