Projekt Lily: Menschliche Kontrolle von ChatGPT‑Unterhaltungen und Datenschutzrisiken

Im September 2026 berichtete 404 Media, dass OpenAI ein internes Programm namens Projekt Lily betreibt. In diesem Rahmen werden Hunderte von externen Auftragnehmer*innen damit beauftragt, reale Nutzeranfragen und komplette Chat‑Verläufe zu lesen, um die Qualität der von ChatGPT erzeugten Antworten zu bewerten. Die Praxis ist Teil einer breiteren Strategie, die darauf abzielt, das Modell kontinuierlich zu verfeinern, indem menschliche Rückmeldungen in den Trainingszyklus zurückgeführt werden. Dabei wird ein klar definierter Workflow eingesetzt, der sowohl technische als auch organisatorische Elemente kombiniert, um die gesammelten Daten möglichst effizient zu nutzen, ohne die Nutzer*innen völlig aus dem Prozess zu entfernen.

Die Bewertung der Konversationen erfolgt in mehreren Schritten. Zunächst fasst der Prüfer die Intention des Nutzers zusammen, um sicherzustellen, dass das System das eigentliche Anliegen korrekt verstanden hat. Anschließend werden verschiedene vom Modell erzeugte Antwortvarianten analysiert und anhand einer Skala bewertet, die Kriterien wie Natürlichkeit, Anthropomorphismus und Über‑Komplimentiertheit umfasst. Diese mehrdimensionale Bewertung soll sicherstellen, dass die Antworten nicht nur faktisch korrekt, sondern auch stilistisch ansprechend und menschlich wirken. Durch die systematische Erfassung dieser Bewertungen kann OpenAI Muster erkennen, die auf Schwächen im Modell hinweisen, und gezielte Verbesserungen vornehmen.

OpenAI betont, dass vor der Weitergabe an die Vertragsmitarbeiter*innen ein sogenannter Privacy Filter angewendet wird. Dieser Filter soll persönlich identifizierbare Informationen wie Namen, E‑Mail‑Adressen oder Telefonnummern entfernen, bevor die Daten in die Hände der Prüfer gelangen. Trotz dieser Vorsichtsmaßnahme gibt das Unternehmen zu, dass die Erkennung nicht perfekt ist und sensible Informationen gelegentlich den Filter passieren können. Die Imperfektion resultiert aus der Komplexität natürlicher Sprache, in der personenbezogene Daten häufig in unvorhersehbaren Kontexten auftreten.

Ein weiterer kritischer Aspekt ist das sogenannte „Memory‑Summary“. In bestimmten Fällen erhalten die Prüfer*innen eine kompakte Zusammenfassung früherer Interaktionen desselben Nutzers, um den Kontext besser zu verstehen und die aktuelle Anfrage angemessen einordnen zu können. Diese Zusammenfassung kann indirekt Hinweise auf den beruflichen Hintergrund, den ungefähren Standort oder private Lebensumstände des Nutzers enthalten. Obwohl die Zusammenfassung bewusst kurz gehalten wird, besteht das Risiko, dass die Kombination mehrerer solcher Hinweise ein eindeutig identifizierbares Profil ermöglicht.

Die Aktivierung der Datenweitergabe ist standardmäßig für private Konten – also Free, Plus und Pro – eingeschaltet. Für Enterprise‑, Business‑ und Edu‑Konten ist die Weitergabe hingegen deaktiviert, da diese Kunden in der Regel strengere Datenschutzanforderungen haben. Der Schalter „Improve the model for everyone“ beeinflusst ausschließlich zukünftige Unterhaltungen; bereits gespeicherte Daten bleiben von dieser Einstellung unbeeinflusst. Diese Differenzierung soll Unternehmen die Möglichkeit geben, ihre Datenhoheit zu wahren, während einzelne Nutzer*innen die Wahl haben, aktiv zum Fortschritt des Modells beizutragen.

Wie der Privacy Filter funktioniert

Der Privacy Filter von OpenAI ist ein eigenständiges Tool, das als Datenminimierungslösung beworben wird. Er arbeitet in mehreren Phasen: Zunächst wird ein Mustererkennungs‑Algorithmus eingesetzt, um offensichtliche personenbezogene Schlüsselwörter zu finden und zu maskieren. Danach folgt ein heuristisches Verfahren, das kontextuelle Hinweise nutzt, um weniger klare Daten zu identifizieren, etwa Kombinationen von Berufsbezeichnungen und geografischen Angaben. Trotz dieser mehrschichtigen Vorgehensweise bleibt das Risiko bestehen, dass durch die Kombination mehrerer scheinbar harmloser Informationen Rückschlüsse auf die Identität einer Person gezogen werden können. Der Filter bietet also keine absolute Garantie für Anonymität, sondern reduziert das Risiko auf ein akzeptables Maß – ein Maß, das jedoch von den individuellen Datenschutzansprüchen der Nutzer*innen abhängt.

Risiken für die Privatsphäre

Die zentrale Gefahr liegt in der potenziellen Rekonstruktion sensibler Profile aus den zusammengefassten Inhalten. Selbst wenn einzelne Namen entfernt wurden, können Berufsbezeichnungen, Projektbezeichnungen oder geografische Hinweise zusammen ein eindeutiges Bild ergeben, das Rückschlüsse auf die Person zulässt. Darüber hinaus kann die Weitergabe von Gesundheits‑ oder Rechtsinformationen, die in einem Gespräch unbeabsichtigt erwähnt werden, zu einer ungewollten Offenlegung führen. Solche Daten könnten von den Prüfern missinterpretiert oder, im schlimmsten Fall, an Dritte weitergegeben werden, wenn die internen Sicherheitsvorkehrungen nicht strikt eingehalten werden.

Mögliche Offenlegungen

• Offenlegung von Geschäftsgeheimnissen, wenn vertrauliche Projektinformationen in den Chat‑Verläufen auftauchen
• Unbeabsichtigte Weitergabe von Gesundheits‑ oder Rechtsinformationen, die in einer privaten Beratung genannt werden
• Risiko der Fehlinterpretation von Nutzerintentionen, das zu falschen Kategorisierungen führen kann
• Verstärkung von Bias durch menschliche Bewertung, weil Prüfer*innen eigene Vorurteile in die Bewertung einfließen lassen können
• Möglichkeit, dass kombinierte Kontextinformationen ein identifizierbares Nutzerprofil ergeben

Was Nutzer*innen tun können

Um das Risiko zu verringern, empfiehlt Tom’s Guide, die Option zur Modellverbesserung zu deaktivieren, wenn sie nicht ausdrücklich gewünscht ist. Zusätzlich sollten sensible Themen – insbesondere solche, die persönliche Gesundheitsdaten, rechtliche Fragen oder vertrauliche Geschäftsinformationen betreffen – vermieden oder in allgemeineren Formulierungen gestellt werden. Für Unternehmen ist es ratsam, Enterprise‑Konten zu nutzen, bei denen die Datenweitergabe standardmäßig deaktiviert ist, und interne Richtlinien zu etablieren, die die Nutzung von KI‑Chatbots reglementieren. Nutzer*innen können zudem regelmäßig ihre Datenschutzeinstellungen prüfen und bei Bedarf anpassen, um die Kontrolle über ihre Daten zu behalten.

Abschließend lässt sich sagen, dass Projekt Lily ein notwendiger Schritt zur Qualitätssteigerung von KI‑Modellen darstellt, jedoch klare Grenzen in Bezug auf Datenschutz und Anonymisierung aufweist. Die vorhandenen Mechanismen – Privacy Filter, Memory‑Summary und die Möglichkeit, die Datenweitergabe zu deaktivieren – mindern das Risiko, garantieren jedoch keine vollständige Sicherheit. Nutzer*innen sollten sich der möglichen Datenflüsse bewusst sein und aktiv Optionen zur Kontrolle ihrer Informationen nutzen, um ihre Privatsphäre zu schützen.

Organisationen, die deutschsprachige Nutzer*innen betreuen, müssen insbesondere prüfen, ob die aktivierten Datenschutzeinstellungen den geltenden nationalen Vorgaben entsprechen, ob die Weitergabe von Daten an externe Auftragnehmer*innen transparent dokumentiert ist und ob interne Prozesse zur Überwachung der Datenminimierung implementiert wurden. Darüber hinaus sollten sie regelmäßige Audits durchführen, um sicherzustellen, dass der Privacy Filter korrekt funktioniert und dass keine sensiblen Informationen unbeabsichtigt in die Analysepipeline gelangen.