Video-Plattform TikTok: Algorithmus empfiehlt gefährliche Inhalte

Videos über Selbstverletzung und Suizidgedanken sind nach wie vor ein Problem auf TikTok. Das zeigt eine Datenanalyse des BR. Nutzerinnen und Nutzer können demnach in eine Filterblase aus gefährlichen Inhalten gezogen werden.
Stärker als bei anderen sozialen Netzwerken entscheidet bei TikTok ein Algorithmus darüber, was Nutzerinnen und Nutzer zu sehen bekommen. Der Algorithmus kuratiert den wichtigsten Teil der App, den »For You«-Feed. Eine Art personalisiertes Fernsehprogramm.

Das ist unproblematisch, wenn Nutzerinnen und Nutzer an Katzen- oder Hundevideos interessiert sind und von TikTok immer mehr davon angezeigt bekommen. Schwierig wird es, wenn sie in problematische Inhalte eintauchen. Auf TikTok findet sich so ein ganzes Subgenre, unter dem junge Menschen Videos über Depression, Selbstverletzung oder Suizid produzieren.

Sie sprechen über psychische Probleme, zeigen die Narben von Verletzungen, die sie sich selbst zugefügt haben, äußern Suizidgedanken. In den Kommentarspalten berichten oft andere Nutzerinnen und Nutzer ebenfalls von Suizidversuchen und Selbstverletzungen. Auf der Plattform finden sich unzählige dieser Videos, manche werden nach einiger Zeit gelöscht, andere stehen monatelang online. Einige von ihnen wurden millionenfach angesehen und geliked.

TikTok-Algorithmus lernt im Experiment schnell dazu 
Ein Experiment von BR Data zusammen mit PULS Reportage zeigt, dass deutsche Nutzerinnen und Nutzer durch Interaktion mit solchen Videos in eine Filterblase geraten können, in der sie in ihrem Feed fast nur noch diese Inhalte von TikTok empfohlen bekommen.

Für das Experiment setzten die Journalistinnen und -journalisten von BR Data mehrere Test-Accounts auf und simulierten das Verhalten von Personen, die sich für Videos zu Depression, Selbstverletzung und Suizidgedanken interessieren.

Das Ergebnis: Der Feed bestand nach kurzer Zeit fast nur noch aus solchen Inhalten. Schon nach etwa 150 Videos war im Schnitt bereits jedes dritte Video mit einem Hashtag zu Themen wie Traurigkeit, Depression, Selbstverletzung und Suizidgedanken versehen, in der Praxis war das nach rund 45 Minuten Nutzungsdauer der Fall.


Methodik des Experiments 
Die Datenjournalistinnen und -journalisten des BR haben für das Experiment mit fünf Accounts gearbeitet, die mit deutschen IP-Adressen das Verhalten von Nutzerinnen und Nutzern nachgeahmt haben. Die Datensicherung geschah mit Hilfe des Algorithmic Transparency Institute, das eine Reihe von Werkzeugen entwickelt hat, mit dem sich die Plattform TikTok näher untersuchen lässt.

Die EU-Initiative Klicksafe bietet im Internet weitere Informationen zum Umgang mit selbstverletzendem Verhalten und Social Media an.


Interagierten die Accounts noch weiter mit diesen Inhalten, bestanden 70 bis 85 Prozent des Feeds aus trauriger Musik, jungen Menschen, die von psychischen Krankheiten oder Selbstverletzungen erzählen und depressiven Zitaten, die zu farbiger LED-Beleuchtung ins Bild fahren.

Filterblasen-Effekt schon seit 2021 bekannt 
Das »Wallstreet Journal« hatte bereits im Juli 2021 auf die Blase aus gefährdenden Inhalten hingewiesen, in die Nutzerinnen und Nutzer geraten können. In einem Blogartikel aus dem Dezember 2021 kündigte TikTok an, daran zu arbeiten, den Feed abwechslungsreicher zu gestalten. Insbesondere bei Inhalten, die einen negativen Effekt haben könnten. Wie die Recherche des BR nun nahelegt, hat TikTok dieses Versprechen bis jetzt in weiten Teilen noch nicht eingelöst.

TikTok verweist auf Millionen gelöschter Videos 
TikTok selbst untersagt es in seinen Community Guidelines, Inhalte zu posten, »in denen Suizid oder Selbstverletzung beworben, gefördert, als normal verharmlost oder verherrlicht werden«. Auf Anfrage, warum dennoch viele Inhalte auf der Plattform zu finden sind, die wohl gegen die Plattform-Richtlinien verstoßen, verweist TikTok auf seine Statistik zu gelöschten Videos. Dort heißt es, man habe im letzten Quartal des Jahres 2021 weltweit über 85 Millionen Videos entfernt. Bei sechs Millionen der Videos gibt TikTok als Entfernungsgrund »Suizid, Selbstverletzung und gefährliche Handlungen« an.

Auf weitere Fragen zum Filterblasen-Effekt, ob etwa die Kommentarbereiche auf unerlaubte Äußerungen überprüft werden und ob die Empfehlungs-Algorithmen Minderjährige besonders vor gefährdenden Inhalten schützen, antwortete das Unternehmen nicht. 

Psychotherapeutin: »Verleitet zur Nachahmung« 
Im Rahmen des Experiments sind BR Data und PULS Reportage auch auf Videos gestoßen, die sich konstruktiv mit psychischen Erkrankungen auseinandersetzen.
Tatsächlich könne es Betroffenen helfen, wenn andere von überstandenen suizidalen Phasen erzählen oder konkrete Hilfsangebote geben, sagt Psychotherapeutin Anke Glaßmeyer, die selbst auf Instagram Aufklärung zu diesem Thema betreibt. Sie sagt jedoch auch: Wenn Suizidalität ein Thema ist, komme es vor allem darauf an, wie darüber gesprochen wird. »Je gezielter und detaillierter über Suizide berichtet wird, desto eher verleitet es zur Nachahmung.« 

Zu den Ergebnissen des Experiments sagt Glaßmeyer: Wer gerade in einem psychisch instabilen Zustand sei, könne von solchen Inhalten auf TikTok getriggert werden - damit ist ein Auslösereiz gemeint, der unwillkürlich Erinnerungen und Gefühle an zurückliegende Traumata hervorruft und zu einem Rückfall führen kann.

Änderungen am Algorithmus gefordert 
Leni Breymaier, SPD-Obfrau im Familienausschuss des Bundestags, schätzt die Ergebnisse des Experiments als problematisch ein: »Selbstverletzung, Depression, Richtung Suizid: Da halte ich es für wünschenswert, dass Algorithmen so verändert werden, dass diese Dinge sich nicht dauernd verstärken.« 

Mit einem Gesetz über digitale Dienste (Digital Services Act) sollen große Plattformen in der EU künftig unter anderem dazu verpflichtet werden, ihren Nutzerinnen und Nutzern ein Empfehlungs-System zur Wahl anzubieten, das nicht auf persönlichem Profiling beruht. Orestis Papakyriakopoulos, der an der Universität Princeton zu Algorithmen forscht, geht noch einen Schritt weiter. Er fordert von den Plattformen, bei Inhalten politischer Art oder zu psychischen Krankheiten prinzipiell auf Empfehlungssysteme zu verzichten.

Sollten Sie selbst von Selbsttötungsgedanken betroffen sein, suchen Sie sich bitte umgehend Hilfe. Bei der anonymen Telefonseelsorge finden Sie rund um die Uhr Ansprechpartner. Telefonnummern der Telefonseelsorge: 0800/111 0 111 und 0800/111 0 222, www.telefonseelsorge.de

Quelle: tagesschau.de, Autoren: L. Altmeier, C. Cerruti, S. Khamis, M. Lehner, R. Schöffel, BR