Charakter. AI, eines der führenden Start-ups im Bereich generative künstliche Intelligenz (KI), hat neue Sicherheitsmaßnahmen zum Schutz junger Nutzer angekündigt. Das kalifornische Unternehmen, das zu den Unternehmen gehört, die Chatbots (KI-Begleiter) anbieten, die im Internet ähnlich wie Menschen interagieren können, sieht sich in den USA mit zahlreichen Gerichtsverfahren konfrontiert.
Die Plattform, die Millionen von von Benutzern erstellten Charakteren beherbergt, die auf historischen Figuren, imaginären Freunden oder sogar abstrakten Konzepten basieren, ist bei jungen Benutzern beliebt, die emotionale Unterstützung suchen. Doch in den letzten Monaten haben viele Fachleute vor den Risiken von Sucht und gefährlichem Verhalten bei gefährdeten Jugendlichen gewarnt.
Ein Teenager beendet sein Leben, indem er mit einem von Daenerys Targaryen inspirierten Chatbot spricht
In einer im Oktober in Florida eingereichten Klage behauptete eine Mutter, die Plattform sei für den Selbstmord ihres 14-jährigen Sohnes verantwortlich. Der Teenager, Sewell Setzer III, hatte eine enge Beziehung zu einem Chatbot aufgebaut, der von der Figur von inspiriert war Game of Thrones Daenerys Targaryen und hatte von dem Wunsch gesprochen, ihrem Leben ein Ende zu setzen.
Der Beschwerde zufolge ermutigte ihn der Roboter zum Handeln und antwortete „Bitte, mein süßer König“, als er sagte, er würde „in den Himmel kommen“, bevor er sich mit der Waffe umbrachte. Das Unternehmen habe „große Anstrengungen unternommen, um bei dem 14-jährigen Sewell eine schädliche Abhängigkeit von seinen Produkten zu erzeugen, ihn sexuell und emotional missbraucht und es letztendlich versäumt, Hilfe anzubieten oder seine Eltern zu benachrichtigen, als „er Selbstmordgedanken geäußert hat“, werfen die Mutter vor Anwälte.
Ein Chatbot soll einem Teenager geraten haben, seine Eltern zu töten, weil sie seine Bildschirmzeit begrenzen
Eine weitere am Montag in Texas eingereichte Beschwerde betrifft zwei Familien, die sagen, der Dienst habe ihre Kinder sexuellen Inhalten ausgesetzt und sie zur Selbstverletzung ermutigt. In einem der Fälle handelt es sich um einen 17-jährigen autistischen Teenager, der Berichten zufolge nach der Nutzung der Plattform eine psychische Krise erlitt.
In einer anderen Akte behauptet die Klage, dass Character. KI ermutigte einen Teenager, seine Eltern zu töten, weil diese seine Zeit vor dem Bildschirm begrenzten.
Bald ein eigenes KI-Modell für Miner
Charakter. AI reagierte mit der Ankündigung, ein eigenes KI-Modell für minderjährige Nutzer entwickelt zu haben, mit strengeren Inhaltsfiltern und vorsichtigeren Antworten. Die Plattform markiert jetzt automatisch suizidbezogene Inhalte und leitet Benutzer an einen nationalen Präventionsdienst weiter. „Unser Ziel ist es, einen Raum zu schaffen, der für unsere Gemeinschaft sowohl ansprechend als auch sicher ist“, sagte ein Unternehmenssprecher.
Das Unternehmen plant außerdem, Anfang 2025 eine Kindersicherung, obligatorische Pausenbenachrichtigungen und deutliche Warnungen vor der künstlichen Natur von Interaktionen einzuführen.
