Die Plattform macht Inhalte sichtbar, von denen viele Nutzer wahrscheinlich angenommen haben, dass sie privat sind. In bestimmten Fällen werden Abfragen mit vollständigen Namen, Profilbildern oder anderen identifizierenden Details verknüpft. Dazu gehören beispielsweise die Offenlegung laufender medizinischer Probleme, geplanter Operationen, Wohnadressen oder rechtlicher Bedenken — von Anträgen auf Vorlage von Vorlagen zur Kündigung des Mietverhältnisses bis hin zu Fragen zu potenziellem Steuerbetrug.
Einige Benutzer geben sogar Details über andere Personen wie Familienmitglieder oder Kollegen weiter. In mehreren Fällen wurde der Chatbot gebeten, bei der Erstellung von Aussagen für Gerichtsverfahren zu helfen, wobei personenbezogene Daten sowohl über den Benutzer als auch über den Gegenstand der Anfrage preisgegeben wurden.
Gesundheitsprobleme sind ein häufiges Thema — etwa Verdauungsprobleme, Hautausschläge oder postoperative Probleme —, die oft vom Alter und Beruf des Anwenders begleitet werden. Viele dieser Interaktionen lassen sich auf öffentliche Profile in sozialen Netzwerken zurückverfolgen.
Nach Angaben des Unternehmens sind Chats standardmäßig auf privat gesetzt, es sei denn, Benutzer durchlaufen aktiv einen mehrstufigen Prozess, um sie im Discover-Feed zu veröffentlichen. Es bleibt jedoch unklar, wie gut die Nutzer diese Einstellung verstehen oder ob einige Beiträge das Ergebnis von absichtlichem Trolling sind, das der Aufmerksamkeit der Medien folgt.
Datenschutzexperten haben Bedenken geäußert, dass die Menge sensibler Daten unbeabsichtigt offengelegt wird. Viele glauben, dass Nutzer immer noch falsch verstehen, wie KI-Plattformen funktionieren und inwieweit ihre Eingaben öffentlich zugänglich sein könnten.
Trotz Warnungen schreitet die Entwicklung solcher KI-Tools rasant voran. Vor Kurzem berichtete das Unternehmen, dass sein KI-Assistent inzwischen eine Milliarde Nutzer auf allen Plattformen hat. Berichten zufolge baut es derzeit ein neues Labor, das sich auf die Entwicklung fortschrittlicher KI-Systeme konzentriert.
In der Zwischenzeit tauchen immer noch öffentliche Anfragen auf, die die Risiken der Plattform selbst in Frage stellen. Das KI-System reagiert häufig, indem es die Möglichkeit anerkennt, dass Benutzer unbeabsichtigt private Informationen weitergeben, und verweist auf verfügbare Tools zur Verwaltung des Datenschutzes. Kritiker stellen jedoch die Frage, ob diese Maßnahmen wirklich ausreichen.
