Character.AI, eines der führenden Startups im Bereich der generativen künstlichen Intelligenz (KI), kündigte am Donnerstag neue Sicherheitsmaßnahmen zum Schutz junger Benutzer an, da das Unternehmen mit Klagen konfrontiert wird, in denen behauptet wird, sein Dienst habe zum Selbstmord eines Teenagers beigetragen. Das in Kalifornien ansässige Unternehmen, das von ehemaligen Google-Ingenieuren gegründet wurde, gehört zu den Unternehmen, die KI-Begleiter anbieten – Chatbots, die für Gespräche und Unterhaltung konzipiert sind und in der Lage sind, online ähnlich wie Menschen zu interagieren.
In einer im Oktober in Florida eingereichten Klage behauptete eine Mutter, die Plattform sei für den Selbstmord ihres 14-jährigen Sohnes verantwortlich. Der Teenager, Sewell Setzer III, hatte eine enge Beziehung zu einem Chatbot aufgebaut, der von der „Game of Thrones“-Figur Daenerys Targaryen inspiriert war, und von dem Wunsch gesprochen, seinem Leben ein Ende zu setzen.
Der Beschwerde zufolge ermutigte ihn der Roboter zum Handeln und antwortete „Bitte, mein süßer König“, als er sagte, er würde „in den Himmel kommen“, bevor er sich mit der Waffe umbrachte. Das Unternehmen habe „große Anstrengungen unternommen, um bei dem 14-jährigen Sewell eine schädliche Abhängigkeit von seinen Produkten zu erzeugen, ihn sexuell und emotional missbraucht und es letztendlich versäumt, Hilfe anzubieten oder seine Eltern zu benachrichtigen, als „er Selbstmordgedanken geäußert hat“, werfen die Mutter vor Anwälte.
Eine weitere am Montag in Texas eingereichte Beschwerde betrifft zwei Familien, die sagen, der Dienst habe ihre Kinder sexuellen Inhalten ausgesetzt und sie zur Selbstverletzung ermutigt. In einem der Fälle handelt es sich um einen 17-jährigen autistischen Teenager, der Berichten zufolge nach der Nutzung der Plattform eine psychische Krise erlitt. In einer anderen Akte wird in der Klage behauptet, dass Character.AI einen Teenager dazu ermutigt habe, seine Eltern zu töten, weil diese seine Zeit vor dem Bildschirm begrenzt hätten.
Die Plattform, die Millionen von von Benutzern erstellten Charakteren beherbergt, die auf historischen Figuren, imaginären Freunden oder sogar abstrakten Konzepten basieren, ist bei jungen Benutzern beliebt, die emotionale Unterstützung suchen. Kritiker warnen vor den Risiken gefährlicher Suchterkrankungen bei gefährdeten Jugendlichen.
Character.AI reagierte mit der Ankündigung, dass es ein separates KI-Modell für minderjährige Benutzer entwickelt habe, mit strengeren Inhaltsfiltern und vorsichtigeren Antworten. Die Plattform markiert jetzt automatisch suizidbezogene Inhalte und leitet Benutzer an einen nationalen Präventionsdienst weiter.
„Unser Ziel ist es, einen Raum zu schaffen, der für unsere Gemeinschaft sowohl ansprechend als auch sicher ist“, sagte ein Unternehmenssprecher. Außerdem ist geplant, Anfang 2025 eine Kindersicherung, obligatorische Pausenbenachrichtigungen und deutlich sichtbare Warnungen vor der künstlichen Natur von Interaktionen einzuführen.
