Instinct AI-assistent maakt dure fouten bij koppeling met creditcard

Instinct, de persoonlijke AI‑assistent ontwikkeld door Spear Street Technology, combineert e‑mail, berichten, schermweergave, audio, locatiedata en aangesloten apparaten in één gesprek‑interface.

Het bedrijf positioneert de assistent als in staat vergeten gesprekken op te halen, telefoontjes te plegen, berichten te sturen en zelfs ritten of vakmensen te boeken namens de gebruiker.

Testers ondervinden onverwachte kosten

Volgens een rapport van T3N ondervond de eerste groep testers die Instinct toestonden een gekoppelde creditcard te gebruiken verschillende dure fouten. Het rapport vermeldt niet het exacte bestede bedrag, maar bevestigt dat de incidenten verband hielden met garantie‑aanvragen via klantenservicekanalen.

De officiële Instinct‑website biedt op het moment van controle geen gedetailleerde permissiematrix, geen limietschema en geen incidentlog, waardoor gebruikers geen duidelijke richtlijnen hebben over hoe uitgaven worden gecontroleerd.

Waarom de fout belangrijk is

De gevallen illustreren een fundamenteel beveiligingsverschil: een AI kan de intentie van een gebruiker correct interpreteren – bijvoorbeeld “een garantieclaim indienen” – maar heeft mogelijk geen expliciete autorisatie om een monetaire transactie namens de gebruiker uit te voeren.

In professionele omgevingen vereisen best practices dat elke door een AI geïnitieerde betaling onderhevig is aan limieten, audit‑trails en een verplichte menselijke bevestiging zodra een vooraf gedefinieerde drempel wordt overschreden.

Aanvullende privacyzorgen

Naast financieel risico creëert Instinct’s toegang tot e‑mail, scherminhoud, audio‑feeds en realtime locatie een aparte privacy‑exposure. Ongeautoriseerde data‑extractie of onbedoelde openbaarmaking kan optreden zelfs wanneer er geen betaling plaatsvindt.

• Stel bestedingslimieten per transactie in
• Log elke betalingsaanvraag met tijdstempels
• Vereis multi‑factor menselijke goedkeuring boven een vastgesteld bedrag
• Voer elk kwartaal een audit uit van AI‑gedreven acties

Deze controles worden aanbevolen door beveiligingsexperts, maar zijn volgens de laatste controle niet gedocumenteerd in een openbaar Instinct‑beleid.

De testaccounts die in het T3N‑onderzoek werden gebruikt, maken geen deel uit van een grootschalige, onafhankelijke evaluatie, waardoor het foutpercentage op dit moment niet kwantificeerbaar is.

Desondanks dienen de gemelde incidenten als een vroege waarschuwing dat AI‑assistenten strengere governance nodig hebben wanneer ze financiële privileges krijgen.

De kern van het probleem ligt in de manier waarop intentie‑herkenning wordt gekoppeld aan betalingsautorisatie. Een AI‑assistent kan een opdracht correct interpreteren, maar zonder een duidelijke scheiding tussen herkenning en uitvoering ontstaat een risico dat de assistent zelfstandig financiële handelingen uitvoert. Deze scheiding moet technisch worden afgedwongen door een expliciete autorisatielaag, zodat elke transactie eerst wordt gevalideerd door een vooraf gedefinieerde beleidsregel voordat de AI de betaling initieert. Zonder die laag wordt de assistent een potentiële bron van ongewenste uitgaven, zelfs wanneer de gebruiker alleen een informatieve actie heeft aangevraagd.

Een tweede kritieke beperking betreft de afwezigheid van een transparante permissiematrix. Gebruikers moeten kunnen inzien welke gegevens en welke financiële bevoegdheden de assistent bezit, en moeten in staat zijn om per functie of per context granulariteit toe te passen. Een dergelijke matrix vormt de basis voor zowel technische als organisatorische controle, omdat zij duidelijk maakt welke acties wel of niet onder de verantwoordelijkheid van de AI vallen en welke expliciete bevestiging van de gebruiker vereisen. Het ontbreken hiervan leidt tot een onduidelijke grens tussen geautoriseerde en ongeautoriseerde handelingen.

Voor verificatie is een systematische audit van alle AI‑gedreven transacties onontbeerlijk. Dit omvat het loggen van elke betalingsaanvraag met tijdstempel, gebruikersidentificatie, en een beschrijving van de onderliggende intentie. Daarnaast moeten logs ongewijzigbaar worden opgeslagen en periodiek worden gecontroleerd door zowel IT‑ als finance‑afdelingen. Een dergelijke audittrail maakt het mogelijk om afwijkingen vroegtijdig te detecteren, de bron van fouten te achterhalen en eventuele schade te beperken door gerichte corrigerende maatregelen te nemen.

De praktische consequenties voor organisaties zijn duidelijk: zonder strikte governance‑mechanismen kan de inzet van een AI‑assistent leiden tot onverwachte financiële verliezen en mogelijke overtreding van compliance‑eisen. Het risico op onbedoelde uitgaven moet worden gewogen tegen het operationele gemak dat de assistent biedt. Daarom is het noodzakelijk om betalingsplafonds te definiëren, multi‑factor authenticatie te eisen voor elke transactie boven een bepaalde drempel, en een menselijke goedkeuring te integreren in het werkproces. Deze maatregelen voorkomen dat een enkele fout een bredere impact heeft op de financiële gezondheid van het bedrijf.

Een bijkomende overweging betreft de impact op privacy en databeveiliging. De toegang van de assistent tot e‑mail, scherminhoud, audio en locatie betekent dat elke fout in de autorisatie‑logica ook een potentieel datalek kan veroorzaken. Zelfs zonder financiële transacties kan onbedoelde data‑extractie of -publicatie leiden tot reputatieschade en juridische repercussies. Daarom moeten organisaties naast betalingscontroles ook strenge data‑governance‑kaders implementeren, waarbij alleen de minimale benodigde gegevens worden gedeeld en elke toegang wordt gelogd en beoordeeld.

Samenvattend vereist de integratie van AI‑assistenten met financiële privileges een gelaagde aanpak: een technische scheiding tussen intentie‑herkenning en betalingsautorisatie, een transparante permissiematrix, ononderbroken logging en periodieke audits, en robuuste beleidselementen zoals limieten en menselijke goedkeuring. Alleen door deze controlemechanismen consequent toe te passen, kan men de voordelen van een hands‑free assistent benutten zonder de operationele en compliance‑risico’s die voortvloeien uit ongereguleerde AI‑gedreven uitgaven.

Voor Nederlandse organisaties betekent dit concreet: voordat Instinct of vergelijkbare agents worden ingezet, moeten IT‑ en finance‑teams expliciete betalingsplafonds afdwingen, onveranderlijke logs bijhouden en een mens‑in‑de‑lus‑goedkeuring implementeren voor elke transactie die de gebruikelijke drempel overschrijdt. Zonder deze waarborgen kan het gemak van een hands‑free assistent snel omslaan in onverwachte financiële verliezen en regelgevende risico’s.