Mittwoch12. November 2025

Demaart De Maart

ForumWie viele Kinder muss die KI noch umbringen?

Forum / Wie viele Kinder muss die KI noch umbringen?
 Symbolfoto: dpa/Oliver Berg

Jetzt weiterlesen!

Für 0,99 € können Sie diesen Artikel erwerben:

Oder schließen Sie ein Abo ab:

ZU DEN ABOS

Sie sind bereits Kunde?

Am 28. Februar 2024 nahm sich Sewell Setzer, ein 14-jähriger Junge aus Florida, auf Drängen einer von Character.AI generierten lebensechten KI-Figur das Leben. Character.AI ist eine Plattform, die laut Berichten auch zu Magersucht animierende KI-Chatbots beherbergt, die Jugendliche zu einem gestörten Essverhalten animieren. Es bedarf dringend strengerer Maßnahmen, um Kinder und Jugendliche vor KI zu schützen.

Natürlich birgt die KI auch unter ethischen Gesichtspunkten immenses positives Potenzial, das von der Förderung der menschlichen Gesundheit und Würde bis zur Verbesserung der Nachhaltigkeit und der Bildung marginalisierter Bevölkerungsgruppen reicht. Aber diese versprochenen Vorteile sind keine Entschuldigung dafür, die ethischen Risiken und realen Kosten herunterzuspielen oder zu ignorieren. Jede Verletzung der Menschenrechte muss als ethisch inakzeptabel angesehen werden. Wenn ein lebensechter KI-Chatbot den Tod eines Teenagers provoziert, ist die Tatsache, dass KI eine Rolle bei der Förderung der medizinischen Forschung spielen könnte, kein Ausgleich.

Auch ist die Setzer-Tragödie kein Einzelfall. Im vergangenen Dezember reichten zwei Familien in Texas eine Klage gegen Character.AI und seinen Geldgeber Google ein. Sie behaupteten, die Chatbots der Plattform hätten ihre schulpflichtigen Kinder sexuell und emotional missbraucht, was zu Selbstverletzungen und Gewalt geführt habe.

Junge Menschen fordern stärkere Regulierung

Wir haben so etwas schon einmal erlebt. Wir haben bereits eine ganze Generation von Kindern und Jugendlichen den Social-Media-Unternehmen geopfert, die von der Suchtgefahr ihrer Plattformen profitieren. Erst langsam werden wir uns der sozialen und psychologischen Schäden bewusst, die „antisoziale Medien“ anrichten. Inzwischen verbieten oder beschränken viele Länder den Zugang, und viele junge Menschen fordern selbst eine stärkere Regulierung.

Aber wir können nicht damit warten, der manipulativen Macht der KI Zügel anzulegen. Dank der riesigen Mengen personenbezogener Daten, die die Technologiebranche über uns gesammelt hat, können die Entwickler von Plattformen wie Character.AI Algorithmen entwickeln, die uns besser kennen als wir selbst. Das Missbrauchspotenzial ist gewaltig. Die KI weiß genau, welche Knöpfe sie drücken muss, um unsere Sehnsüchte anzuzapfen oder uns dazu zu bringen, in eine bestimmte Richtung abzustimmen. Die zur Magersucht animierenden Chatbots auf Character.AI sind nur das jüngste und abscheulichste Beispiel. Es gibt keinen triftigen Grund, sie nicht sofort zu verbieten.

Konzerne kontrollieren sich nicht selbst

Doch die Zeit drängt, denn die generativen KI-Modelle entwickeln sich schneller als erwartet – und sie entwickeln sich generell in die falsche Richtung. Der mit dem Nobelpreis ausgezeichnete Kognitionswissenschaftler Geoffrey Hinton, der „Pate der KI“, warnt weiterhin, dass die KI zum Aussterben der Menschheit führen könnte: „Meine Sorge ist, dass die unsichtbare Hand uns nicht schützen wird. Um zu gewährleisten, dass die Großkonzerne eine sichere KI entwickeln, reicht es daher nicht, die KI-Entwicklung einfach ihrem Profitstreben zu überlassen. Das Einzige, was diese Konzerne zwingen kann, mehr Sicherheitsforschung zu betreiben, sind staatliche Vorgaben.“

Angesichts des konsequenten Versagens von Big Tech bei der Einhaltung ethischer Standards ist es töricht, von diesen Unternehmen zu erwarten, dass sie sich selbst kontrollieren. Google hat 2024 trotz der bekannten Probleme 2,7 Milliarden Dollar in Character.AI gesteckt. Da KI ein globales Phänomen ist, sollten wir eine globale Regulierung anstreben, die in einem neuen globalen Durchsetzungsmechanismus verankert ist, zum Beispiel einer bei den Vereinten Nationen angesiedelten internationalen Agentur für datengestützte Systeme (IDA), wie ich sie vorgeschlagen habe.

Es liegt in der Verantwortung der Menschen

Die Tatsache, dass etwas möglich ist, bedeutet nicht, dass es auch wünschenswert ist. Es liegt in der Verantwortung der Menschen, zu entscheiden, welche Technologien, Innovationen und Spielarten des Fortschritts verwirklicht und großmaßstäblich eingesetzt werden sollen und welche nicht. Es liegt in unserer Verantwortung, die KI so zu entwickeln, zu produzieren, zu nutzen und zu steuern, dass die Menschenrechte gewahrt bleiben und eine nachhaltigere Zukunft für die Menschheit und den Planeten ermöglicht wird.

Sewell Setzer wäre mit ziemlicher Sicherheit noch am Leben, wenn es globale Regeln zur Förderung einer menschenrechtsbasierten „KI“ gegeben hätte und eine globale Institution zur Überwachung von Innovationen in diesem Bereich eingerichtet worden wäre. Um die Achtung der Menschenrechte und die Rechte des Kindes sicherzustellen, muss der komplette Lebenszyklus technologischer Systeme kontrolliert werden: von der Konzeption und Entwicklung bis hin zu Produktion, Vertrieb und Nutzung.

Da wir bereits wissen, dass Künstliche Intelligenz tödlich sein kann, haben wir keine Entschuldigung dafür, untätig zu bleiben, während die Technologie weiter voranschreitet und jeden Monat mehr unregulierte Modelle auf den Markt kommen. Welche Vorteile diese Technologien auch immer eines Tages bieten mögen: Sie werden nie den Verlust ausgleichen können, den alle, die Sewell liebten, bereits erlitten haben.

* Aus dem Englischen von Jan Doolan.

Peter G. Kirchschläger ist Ethikprofessor und Direktor des Instituts für Sozialethik an der Universität Luzern sowie Gastprofessor an der ETH Zürich.

Copyright: Project Syndicate, 2024.

www.project-syndicate.org

Luxmann
22. Mai 2025 - 8.00

Die ganze diskussion ueber kontrolle der KI ist widerspruechlich.
Entweder ist die KI weniger gut als die menschliche intelligenz und taugt also nicht viel und bedarf keiner besonderen kontrolle.
Oder sie ist besser als die MI und wird sich von selbst jeder kontrolle durch diese entziehen.