Instinct‑Assistent verursacht teure Fehlbuchungen bei Kreditkartenanbindung

Instinct, der persönliche KI‑Assistent von Spear Street Technology, bündelt E‑Mails, Nachrichten, Bildschirminhalte, Audio, Standortdaten und verbundene Geräte in einer einzigen konversationalen Oberfläche.

Das Unternehmen wirbt damit, dass der Assistent vergessene Unterhaltungen wiedergeben, Anrufe tätigen, Nachrichten senden und sogar Fahrten oder Handwerker im Namen des Nutzers buchen kann.

Tester stoßen auf unerwartete Kosten

Laut einem Bericht von T3N erlebte die erste Testgruppe, die Instinct erlaubte, eine verknüpfte Kreditkarte zu nutzen, mehrere teure Fehlbuchungen. Der Bericht nennt keinen genauen Betrag, bestätigt jedoch, dass die Vorfälle im Zusammenhang mit Garantieanfragen über Kundendienstkanäle standen.

Die offizielle Instinct‑Website enthält zum Zeitpunkt der Überprüfung weder ein detailliertes Berechtigungsmatrix, noch eine Begrenzungsübersicht oder ein Vorfalls‑Log, sodass Nutzer keine klare Anleitung haben, wie Ausgaben gesteuert werden.

Warum der Fehler wichtig ist

Die Vorfälle verdeutlichen einen grundlegenden Sicherheitsunterschied: Eine KI kann die Absicht eines Nutzers korrekt interpretieren – etwa „eine Garantieanfrage stellen“ – aber nicht über eine explizite Autorisierung verfügen, eine Geldtransaktion im Namen des Nutzers auszuführen.

In professionellen Einsätzen verlangen Best Practices, dass jede von einer KI initiierte Zahlung Obergrenzen, Prüfpfade und eine obligatorische menschliche Bestätigung erhalten, sobald ein vordefinierter Schwellenwert überschritten wird.

Weitere Datenschutzbedenken

Neben dem finanziellen Risiko eröffnet Instincts Zugriff auf E‑Mails, Bildschirminhalte, Audio‑Feeds und Echtzeit‑Standortdaten ein separates Datenschutzrisiko. Unbefugte Datenextraktion oder unbeabsichtigte Offenlegung könnten selbst ohne Zahlungsvorgang auftreten.

• Ausgabenlimits pro Transaktion festlegen
• Jede Zahlungsanfrage mit Zeitstempel protokollieren
• Mehrstufige menschliche Genehmigung ab einem festgelegten Betrag verlangen
• KI‑gesteuerte Aktionen vierteljährlich auditieren

Diese Kontrollen werden von Sicherheitsexperten empfohlen, sind aber in keiner öffentlichen Instinct‑Richtlinie zum aktuellen Stand dokumentiert.

Die Testkonten, die in der T3N‑Untersuchung verwendet wurden, gehören nicht zu einer groß angelegten, unabhängigen Evaluation, sodass die Fehlerrate derzeit nicht quantifiziert werden kann.

Dennoch dienen die gemeldeten Vorfälle als frühe Warnung, dass KI‑Assistenten strengere Governance benötigen, wenn ihnen finanzielle Privilegien eingeräumt werden.

Die beschriebenen Fehlbuchungen zeigen, dass die reine Intent‑Erkennung einer KI nicht ausreicht, um finanzielle Transaktionen sicher zu steuern. Während der Assistent korrekt erkennt, dass der Nutzer eine Garantieanfrage stellen möchte, fehlt ein klar definierter Mechanismus, der die nachgelagerte Zahlungsautorisierung zwingend vom Nutzer bestätigen lässt. Ohne diese Trennung entstehen implizite Annahmen darüber, dass jede erkannte Absicht automatisch zu einer Geldbewegung führen darf, was die Sicherheitsarchitektur grundlegend schwächt. Ein robustes Modell muss daher die Intent‑Schicht von einer separaten Authorisierungs‑Schicht entkoppeln, sodass jede potenzielle Zahlung erst nach einer expliziten, nachvollziehbaren Bestätigung freigegeben wird.

Ein zentrales Limit des aktuellen Designs liegt in der fehlenden Transparenz der Berechtigungs‑ und Limit‑Strukturen. Nutzer erhalten keine Übersicht darüber, welche finanziellen Obergrenzen gelten, welche Arten von Ausgaben überhaupt zulässig sind und wie häufige Transaktionen protokolliert werden. Diese Intransparenz verhindert, dass Anwender proaktiv Kontrollen einrichten oder verdächtige Aktivitäten frühzeitig erkennen können. Die Einführung einer klaren Berechtigungsmatrix, die sowohl maximale Beträge pro Transaktion als auch kumulative Tages‑ oder Monatslimits definiert, würde die Entscheidungsbasis sowohl für den Nutzer als auch für Auditteams deutlich verbessern.

Zur Verifizierung der Vorgänge müssen systematische Protokollierungsmechanismen implementiert werden, die jede Zahlungsanfrage mit Zeitstempel, Kontextinformation und dem zugrunde liegenden Intent festhalten. Durch die lückenlose Aufzeichnung lässt sich nicht nur nachvollziehen, ob ein Vorgang autorisiert war, sondern auch, ob die KI möglicherweise fehlerhafte Interpretationen erzeugt hat. Solche Logs sollten zudem unveränderlich gespeichert und regelmäßig von unabhängigen Sicherheitsexperten auditiert werden, um Manipulationen zu verhindern und eine solide Basis für forensische Analysen zu schaffen.

Praktische Konsequenzen ergeben sich insbesondere für Unternehmen, die KI‑Assistenten in produktiven Umgebungen einsetzen wollen. Vor der Integration müssen IT‑ und Finanzabteilungen verbindliche Richtlinien erarbeiten, die festlegen, dass jede Zahlung über einem definierten Schwellenwert einen mehrstufigen Genehmigungsprozess durchläuft, der mindestens eine manuelle Bestätigung erfordert. Darüber hinaus sollten automatisierte Ausgabenlimits in den Systemen konfiguriert werden, um unbeabsichtigte Überschreitungen zu vermeiden, und ein Alarm‑Framework implementiert werden, das bei Anomalien sofortige Benachrichtigungen an verantwortliche Personen sendet.

Ein weiterer praktischer Aspekt betrifft das Risikomanagement im Hinblick auf regulatorische Vorgaben. Ohne dokumentierte Kontrollen und nachweisbare Genehmigungsprozesse können Unternehmen bei fehlerhaften Zahlungen schnell in Konflikt mit Finanzaufsichtsbehörden geraten, was zu Bußgeldern und Reputationsschäden führen kann. Durch die Etablierung klarer Governance‑Modelle, die sowohl technische als auch organisatorische Schutzmaßnahmen umfassen, lässt sich nicht nur das finanzielle Risiko mindern, sondern auch die Compliance‑Anforderungen erfüllen, die bei der Verarbeitung von Zahlungsdaten gelten.

Für deutschsprachige Unternehmen bedeutet das praktisch: Bevor Instinct oder ähnliche Agenten eingeführt werden, müssen IT‑ und Finanzabteilungen explizite Zahlungslimits festlegen, unveränderliche Protokolle führen und einen menschlichen Freigabeschritt für jede Transaktion einbauen, die über übliche Schwellenwerte hinausgeht. Ohne diese Schutzmaßnahmen könnte der Komfort eines freihändigen Assistenten schnell in unerwartete finanzielle Verluste und regulatorische Risiken umschlagen.