Der texanische Generalstaatsanwalt Ken Paxton hat am Donnerstag eine Untersuchung gegen Character.AI und 14 andere Technologieplattformen wegen Bedenken hinsichtlich der Privatsphäre und Sicherheit von Kindern eingeleitet. Bei der Untersuchung wird beurteilt, ob Character.AI – und andere bei jungen Menschen beliebte Plattformen, darunter Reddit, Instagram und Discord – den texanischen Datenschutz- und Sicherheitsgesetzen für Kinder entsprechen.
Bei der Untersuchung von Paxton, der oft hart gegen Technologieunternehmen vorgeht, wird untersucht, ob diese Plattformen zwei texanische Gesetze eingehalten haben: den Securing Children Online through Parental Empowerment (SCOPE Act) und den Texas Data Privacy and Security Act (DPSA).
Diese Gesetze verlangen von Plattformen, dass sie Eltern Tools zur Verfügung stellen, mit denen sie die Datenschutzeinstellungen der Konten ihrer Kinder verwalten können, und verpflichten Technologieunternehmen zu strengen Einwilligungsanforderungen, wenn sie Daten über Minderjährige sammeln. Paxton behauptet, dass sich beide Gesetze auf die Art und Weise erstrecken, wie Minderjährige mit KI-Chatbots interagieren.
„Diese Untersuchungen sind ein entscheidender Schritt, um sicherzustellen, dass Social-Media- und KI-Unternehmen unsere Gesetze zum Schutz von Kindern vor Ausbeutung und Schaden einhalten“, sagte Paxton in einer Pressemitteilung.
Character.AI, mit dem Sie generative KI-Chatbot-Charaktere einrichten können, mit denen Sie SMS schreiben und chatten können, war kürzlich in eine Reihe von Klagen zum Schutz von Kindern verwickelt. Die KI-Chatbots des Unternehmens fanden bei jüngeren Nutzern schnell Anklang, doch mehrere Eltern haben in Klagen behauptet, dass die Chatbots von Character.AI ihren Kindern unangemessene und beunruhigende Kommentare gemacht hätten.
In einem Fall aus Florida wird behauptet, dass ein 14-jähriger Junge eine romantische Beziehung zu einem Character-AI-Chatbot einging und diesem erzählte, dass er in den Tagen vor seinem eigenen Selbstmord Selbstmordgedanken hatte. In einem anderen Fall aus Texas schlug einer der Chatbots von Character.AI angeblich vor, dass ein autistischer Teenager versuchen sollte, seine Familie zu vergiften. Ein anderer Elternteil im Fall Texas behauptet, einer der Chatbots von Character.AI habe ihre 11-jährige Tochter in den letzten zwei Jahren sexualisierten Inhalten ausgesetzt.
„Wir prüfen derzeit die Ankündigung des Generalstaatsanwalts. Als Unternehmen nehmen wir die Sicherheit unserer Benutzer sehr ernst“, sagte ein Sprecher von Character.AI in einer Erklärung gegenüber TechCrunch. „Wir begrüßen die Zusammenarbeit mit den Aufsichtsbehörden und haben kürzlich angekündigt, dass wir einige der in der Pressemitteilung erwähnten Funktionen einführen werden, einschließlich der Kindersicherung.“
Character.AI hat am Donnerstag neue Sicherheitsfunktionen zum Schutz von Teenagern eingeführt und erklärt, dass diese Updates seine Chatbots daran hindern werden, romantische Gespräche mit Minderjährigen zu beginnen. Das Unternehmen hat im letzten Monat auch damit begonnen, ein neues Modell speziell für jugendliche Benutzer zu trainieren – es hofft, eines Tages Erwachsene ein Modell auf seiner Plattform verwenden zu können, während Minderjährige ein anderes verwenden.
Dies sind nur die neuesten Sicherheitsupdates, die Character.AI angekündigt hat. In derselben Woche, in der die Klage in Florida öffentlich wurde, gab das Unternehmen bekannt, dass es sein Vertrauens- und Sicherheitsteam erweitern würde, und stellte kürzlich einen neuen Leiter für die Einheit ein.
Wie vorherzusehen war, tauchen die Probleme mit KI-Begleitplattformen genau dann auf, wenn sie immer beliebter werden. Letztes Jahr sagte Andreessen Horowitz (a16z) in einem Blogbeitrag, dass er KI-Begleitung als einen unterbewerteten Bereich des Verbraucherinternets betrachte, in den er mehr investieren würde. A16z ist ein Investor in Character.AI und investiert weiterhin in andere KI-Begleitungs-Startups , unterstützte kürzlich ein Unternehmen, dessen Gründer die Technologie aus dem Film „Her“ nachbilden möchte.
Reddit, Meta und Discord reagierten nicht sofort auf Anfragen nach Kommentaren.
