30 Jahre eco Beschwerdestelle: Wie wir illegale Inhalte im Netz wirksam bekämpfen

00:00:04: Hallo und herzlich willkommen zu einer brandneuen Ausgabe vom Ohr am Netz.

00:00:12: Hi Sidoni!

00:00:13: Hallo Sven, hallo zusammen.

00:00:16: Wir haben schon wieder eine Jubiläumsfolge Eine Geburtstagsfolge Ja, dreißig Jahre Eco-Beschwerdestelle.

00:00:22: Wahnsinn!

00:00:23: Ey, dreißig Jahre.

00:00:24: Überleg mal.

00:00:26: Ich habe nachgedacht, wann hatte ich eigentlich wirklich aktiv mit dem Internet zu tun?

00:00:29: Bei mir ging es so richtig aktiv erst siehundneunzig los weil da hab' ich Ultima Online gespielt das erste Massive Multiplayer online.

00:00:37: Role-Playing Games waren eher so Standbilder die ich gesehen habe.

00:00:39: aber ich fand's geil und ich weiß sechsundneinzig war ich glaube noch...ich war Mitglied bei in Berlin.

00:00:44: Das war ein Internetverein und scheiß der hatte zwei Modems Zwei Leitungen besetzt waren, dann war halt kein Internet bei InBaby.

00:00:53: Wie war es denn bei dir?

00:00:55: Ich habe auch mal überlegt ich glaube schon dass sich so um die Zeit wahrscheinlich auch meinen ersten PC tatsächlich ...bekommen habe und ja, so erste Versuche damit gemacht habe.

00:01:09: Also, neunzig oder siebenneinzig vielleicht auch aber irgendwie so um den Dreh.

00:01:13: Ja ich weiß noch, ich musste so ein bisschen Überzeugungsarbeit leisten... ...auch bei meinen Eltern da jetzt eine Kiste anzuschaffen.

00:01:18: die haben das beide jetzt irgendwie beruflich oder so auch gar nicht auf dem Schirm gehabt oder selber verwendet und irgendwann hatte ich sie soweit und hab dann da so eine schöne beige gräue Kiste aufm Schreibtisch.

00:01:31: Ich kann mich auch noch erinnern, Fubis war damals so eine ganz große Computerfirma.

00:01:34: Ich hatte ein Fubispizzi!

00:01:36: Der war richtig schnell.

00:01:37: Ja, übrigens ähnliches.

00:01:39: Echt abgefahren.

00:01:40: Aber damals waren doch nicht die Rede von YouTube oder Social Media oder solchen Sachen.

00:01:43: Generative KI war Total Science-Fiction und absolute Zukunftsmusik.

00:01:47: aber es gab schon rechtswidrige Inhalte.

00:01:50: ich kann mich erinneren wir haben damals die Macher in Berlin von diesem Verein gesagt hey wenn du hier sozusagen im Forum was schreibst nicht reagieren, don't feed the Tro.

00:02:00: Das war damals so die Abwehrmöglichkeit.

00:02:03: Ja das gab's damals schon.

00:02:04: Und und und neunundneinzig gehörte der ECO zu den Gründungsmitgliedern von INHOB dem internationalen Netzwerk der Internetbeschwerdestellen ja also insofern seit sechsundneunzig dabei, seit neun und neunsich international vernetzt.

00:02:18: Also ein Jubiläum über das wir auf jeden Fall sprechen müssen weil es hat sich ein bisschen was verändert oder?

00:02:23: Ja, ich denke man kann schon sagen in dreißig Jahren hat sich das Netz jetzt natürlich grundlegend geändert.

00:02:28: aber die Grundfrage bleibt ja doch ähnlich.

00:02:31: Wer übernimmt denn die Verantwortung wenn online eben Dinge auftauchen Inhalte auftauchten?

00:02:38: Die dort eigentlich nicht hingehören?

00:02:40: und um mal so ein paar Dimensionen auch zu haben was die Beschwerdestelle tatsächlich so macht wir stellen jedes Jahr auch ein Jahresbericht vor mit den aktuellen Zahlen der aktuelle ist, also von zwanzig-fünfundzwanzig.

00:02:53: Da hat die ECO Beschwerdestelle über fünfzigtausend Hinweise geprüft.

00:02:59: Also die Hinweise können ja von jedem und jeder Nutzerin sozusagen eingereicht werden auch anonym.

00:03:06: Und von diesen über fünfzichtausende Hinweisen waren immerhin dreißig tausend über dreißigtausend Fälle auch tatsächlich ein Rechtsverstoß.

00:03:16: Ja und rund dreiundneinzig Prozent dieser geprüften Hinweise betrafen tatsächlich sexualisierte Gewalt- und Grenzverletzungen gegen Kinder und Jugendliche.

00:03:25: Es ist besonders unschönes Kapitel, aber wichtig natürlich genau und zweiundvierzig Prozent der Beschwerden das gehört auch natürlich zur Wahrheit war tatsächlich nicht berechtigt.

00:03:38: Das heißt dass sagen wir schon immer dazu Nicht alles was uns vielleicht problematisch oder unschönen vorkommt oder irgendwie kontrovers ist.

00:03:48: Oder auch persönlich stört, ne?

00:03:49: Oder auch persönlich schlimm ist natürlich dann automatisch auch Rechtswidrig, deswegen haben wir da eben die Kollegen und Kollegen auch sitzen, die durchweg alle einen juristischen Hintergrund haben und das einfach dann auch bewerten können.

00:04:00: Ja, wir haben also eine spannende Folge vorbereitet und ich sage mal, dass Thema es ja auch quasi so heiß wie nie trotz dreißig Jahre Jubiläum.

00:04:06: Wir haben hier die weltweite Debatte zum Jugendmedienschutz.

00:04:09: Dann reden wir gerade über Mindestalter in sozialen Netzwerken.

00:04:12: jetzt gab's grad eine Ankündigung zum EU Kids Act, also eine neue Gesetzesidee aus der EU aus Brüssel, wo man mal gucken muss wie sinnvoll so was überhaupt ist.

00:04:21: Weil es ist ja schon so viel reguliert und wie wir im Laufe dieser Folge erfahren werden, ist Regulierung eben alles andere als alles.

00:04:28: Wir brauchen auch Leute die das ganze dann wirklich auch umsetzen und im Endeffekt sich mit dem Thema auseinandersetzen.

00:04:32: Der ECO fordert in der aktuellen Debatte eine europäische statt vieler nationaler Lösung.

00:04:36: klar dass es sinnvoll sowohl bei Mindestalter als auch bei Alters Verifikation ein großes Problem bei Social Media.

00:04:42: Also wer sagt mir denn Wenn da steht binviertzehn, dass ich wirklich vierzehn bin oder achtzehnt.

00:04:47: Und mit dem Digital Services Act gibt es außerdem formalisierte Meldwege und das Instrument der Trusted Flagger.

00:04:54: Darüber werden wir auch in dieser Ausgabe mehr erfahren.

00:04:59: aber jetzt würde ich sagen Siduni machen bei erstmal Standard.

00:05:02: ja wie wir das in unserer Jubiläumsreifen Zeit immer machen.

00:05:04: erst mal gibt's aktuelles aus der digitalen Welt.

00:05:11: Ja und wir starten gleich mit einem ganz aktuellen Thema, das auch zur Folge passt.

00:05:16: Sven hat es gerade auch schon kurz erwähnt.

00:05:19: Nämlich die EU-Kommission hat vergangene Woche also ganz frisch ihren Gesetzesvorschlag für einen stärkeren Schutz von Kindern und Jugendlichen im Internet vorgestellt.

00:05:29: der sogenannte Kids Act sieht EU-weite Altersgrenzen für soziale Netzwerke und zusätzliche Pflichten für Plattformen vor.

00:05:37: Kinder unter dreizehn Jahren sollen soziale Netzwerke nicht nutzen dürfen, also gar nicht!

00:05:43: Für dreizehn bis fünfzehn jährige sind eingeschränkte von den Eltern eingerichtete Konten vorgesehen – ein eigenes Konto soll erst ab fünfzehntjahren möglich sein.

00:05:52: Für minderjährige sollen außerdem besonders suchtfördernde Funktionen und profilbasierte Empfehlungsmechanismen eingeschwenkt

00:06:00: werden.".

00:06:00: Zur Durchsetzung dieser Altersgrenzen sollen Plattformen technische Altersprüfungen einsetzen und gleichzeitig sollen Profile minderjähriger stärker geschützt und dienste grundsätzlich altersgerecht und sicher gestaltet werden.

00:06:13: Bundesbildungs- und Familienministerin Karin Prien begrüßte diesen EU-Vorstoß.

00:06:18: Die Pläne legen sehr genau auf der Linie, die auch Deutschland verfolge – für Oktober kündigte sie eigene Eckpunkte für eine deutsche Übergangslösung an.

00:06:27: Dabei soll die Verantwortung für den Jugendschutz stärker bei den Plattformen bieten.

00:06:32: Grundlage sind unter anderem Empfehlungen einer Expertenkommission zum Kinder- und Jugendschutz in der digitalen Welt.

00:06:38: Ja, und wir beim ECO haben natürlich eine Meinung dazu gerade weil wir eben mit unserer ECO Beschwerdestelle auch sehr aktiv selber in diesem Thema sind und wir unterstützen natürlich grundsätzlich das Ziel eines stärkeren Jugendmedienschutzes warnen aber auch vor Doppelregulierung.

00:06:55: es gibt ja schon bestehende Vorgaben wie z.B.

00:06:59: auf europäischer Ebene den Digital Services Act, den DSA und Altersprüfungen müssen eben auch wirksam verhältnismäßig und datenschutzfreundlich sein.

00:07:09: Und zudem sollte Jugendmedienschutz aus unserer Sicht nicht allein auf Verbote setzen sondern sollte auch Medienkompetenz und einen sicheren Zugang zu digitalen Angeboten fördern.

00:07:19: Der KITS-Act ist also noch nicht geltendes Recht.

00:07:22: das muss man dazu sagen dass Europäische Parlament und die EU Mitgliedstaaten diesen Vorschlag nun erstmal beraten.

00:07:29: Ja jetzt ist diese Folge schon mehrere Minuten alt und wir haben noch gar nicht über KI gesprochen.

00:07:32: Das kann ja wohl nicht wahr sein, ändert sich mit der zweiten News!

00:07:35: Und da ist die große Frage wer nutzt denn alles schon KI in der Arbeit?

00:07:40: Eine Umfrage der Europäischen Zentralbank zur Folge ist künstliche Intelligenz aus dem Berufsleben nicht mehr wegzudenken.

00:07:46: Ach, guck mal einer an.

00:07:47: Denn innerhalb der letzten zwei Jahre hat sich die Anzahl derjenigen verdoppelt, die KI für ihren Job nutzen – zwanzig vierundzwanzig waren es gerade einmal sechsundzwantig Prozent und mittlerweile sind das mehr als die Hälfte aller Befragten also zweieinfünfzig Prozent.

00:07:59: Naja und das mit wöchentlich etwa drei Stunden, die man sich dadurch spart.

00:08:03: Das macht natürlich eine Menge aus wenn wir das hochrechnen.

00:08:05: allerdings gibt es hier noch sichtbares demografische Unterschiede.

00:08:09: Gerade jüngere Menschen und solche mit höheren Bildungsabschluss nutzen KI natürlich vermehrt während andere noch ein bisschen zögern weil sie vielleicht Angst haben.

00:08:16: ist das ein Muster, dass sich die letzten drei Jahre so gehalten hat und zeigt wo es noch Hirben für eine digitale Transformation zu überwinden gibt.

00:08:24: Die Umfrage, die packen wir mal in die Show notes da könnt ihr ja nochmal reingucken.

00:08:28: Ja und wenn wir über unerwünschte, unschöne Internetinhalte sprechen und den Umgang damit da ergeben sich ja so mehrere Fragen.

00:08:37: Also es liegt ja eigentlich so auf der Hand dass man erstmal sagt naja solche Inhalte gerade wenn sie auch wirklich rechtswidrig sind sollten natürlich besonders schnell verschwinden aus dem Netz.

00:08:48: gleichzeitig muss man natürlich auch sagen ist das schon auch im Interesse alle, dass solche Sachen sorgfältig zunächst mal geprüft werden.

00:08:56: Also Geschwindigkeit gegen sorgfeldige Prüfung ist so ein Spannungsfeld.

00:09:00: dann kommen natürlich das hört man gleich auch Mal in meinem Interview mit YouTube immer mehr auch Automatisierung bei der Moderation von Plattformen zum Einsatz und das steht so ein bisschen gegenüber der menschlichen Bewertung.

00:09:18: Also wenn da irgendwie pro Minute Stimmen an den Halten hochgeladen werden, sonst kannst du ja gar nicht gucken.

00:09:23: Ja eben genau also.

00:09:24: deswegen macht es schon Sinn da teilweise auch auf Automatisierung zu setzen.

00:09:27: aber letztlich der menschenliche Blick darauf bleibt doch auch nach wie vor unerlässlich.

00:09:34: Ja, weiteres Spannungsfeld ist natürlich Kinderschutz gegen Datenschutz und digitale Teilhabe.

00:09:40: Ist auch etwas was man aber auch nicht gegeneinander ausspielen sollte.

00:09:43: Und dann ist es natürlich auch so dass wir hier häufig ja von globalen Plattformen reden denen wir unsere nationale Rechtsordnung gegenüberstellen und auch daraus ergeben sich gewisse Spannungen.

00:09:57: Wir werden vieles davon jetzt in dieser Folge ansprechen, versuchen einzuordnen.

00:10:04: Wir haben wie immer mehrere Perspektiven auf das Thema hier mitgebracht.

00:10:09: Wir werden natürlich mit unserer Beschwerdestelle sprechen.

00:10:12: wir haben eine Plattform dabei YouTube und auch der staatliche Jugendmedienschutz wird zu Wort kommen.

00:10:20: Genau unser Thema heute.

00:10:21: dreißig Jahre Eco-Beschwerdeställe.

00:10:23: und wenn wir jetzt mal zurückgucken ja also in den dreizig Jahren hat sich viel verändert.

00:10:28: Da waren illegale Inhalte, vielleicht meine Beleidigungen in irgendeinem Forum oder vielleicht auch mal ein Bild was da nicht so hingehört hat.

00:10:34: Aber man musste schon ganz schön suchen um das überhaupt zu finden und vor allem auch erstmal aktiv Teil im Internet sein.

00:10:38: es waren die wenigsten damals noch von uns Das hat sich komplett gedreht.

00:10:41: ohne Internet geht heute gar nichts mehr.

00:10:43: wir sind alle auf Plattformen unterwegs Wir haben Messenger Wir sind in internationalen Infrastrukturen Und natürlich kriegen wir viele KI-generierte Inhalter Naja und jeder Mensch in der Bundesrepublik Deutschland zumindest hatte auch einen Smartphone Im Endeffekt, solche illegalen oder teilweise auch verletzenden oder rechtsverletzende Inhalten ausgeliefert.

00:11:02: Ja, und bevor wir jetzt zu den Interviews kommen vielleicht auch noch mal ein kurzen paar Fakten gerade auch zur Beschwerdestelle und der Tätigkeit der Kolleginnen und Kollegen dort.

00:11:11: Also ich habe es vorhin schon gesagt Hinweise dort können tatsächlich kostenlos und anonym eingereicht werden.

00:11:17: die Adresse packen wir euch da natürlich auch nochmal in die Show Notes.

00:11:21: Dort sitzen juristische Fachkräfte, die dann diese Hinweise prüfen ob eben tatsächlich einen Rechtsverstoß vorliegt Und anschließend werden dann die betroffenen Plattform oder Provider informiert.

00:11:33: Bei strafbaren Inhalten werden natürlich zusätzlich auch gleich Strafverfolgungsbehörden

00:11:38: eingeschaltet.".

00:11:39: Ja, das ist schon relativ krass und man denkt dann immer so ja wenn ich jetzt was melde da passiert ja gar nichts?

00:11:42: Dann muss man auch mal eine Lanze brechen für die Kolleginnen und Kollegen bei der ECO-Beschwerdestelle.

00:11:46: Also zwanzig, fünfundzwanzig Erfolgsquote bei wettbasierten Inheiten von achtundneunzig, fünf acht Prozent also quasi alles!

00:11:54: Alles was gemeldet wurde, wurde erfolgreich bearbeitet, alles was illegal war wurde am Ende gelöscht.

00:12:00: Nicht gesperrt, gelöszt!

00:12:02: Wo der Unterschied ist zwischen löschen und sperren?

00:12:03: Und warum diese unsägliche Diskussion immer wieder auftockt?

00:12:05: darüber hören wir dann auch gleich im ersten Interview ein bisschen mehr.

00:12:11: Dreißig Jahre Eco-Beschwerdestelle und dreißig jahre Einsatz für ein gutes, ein besseres Internet.

00:12:16: Ninzehundertsechsundneunzig wurde die Eco Beschwerdeställe gegründet.

00:12:19: das war damals noch eine komplett andere Zeit und ne ganz andere digitale Welt.

00:12:24: da war überhaupt nicht dran zu denken was heute längst Alltag ist.

00:12:26: ja Plattform KI globalen Netzwerke.

00:12:29: Was hat sich verändert, was ist geblieben?

00:12:30: Also bei der Beschwerdestelle?

00:12:32: und wie kämpft man heute gegen illegale Inhalte im Netz.

00:12:34: Darüber spreche ich im Jubiläumsjahr mit Alexander Koch-Skiba, der Leiterin der EcoBeschwerdestellen.

00:12:39: Willkommen mal wieder im Ohr am Netz!

00:12:41: Hallo Alexandra!

00:12:41: Hallo Sven!

00:12:42: So, dreißig Jahre EcoBerschwerdesteller wenn du jetzt zurückblickst.

00:12:45: wir haben sich das Internet und deine Arbeit sagen wir mal am stärksten verändert.

00:12:50: an welcher Stelle Es wird sich so viel verändert und vieles braucht gleichzeitig auf dem Auf, was es ja seit vielen Jahren gibt.

00:12:59: von daher tatsächlich eine tricky Frage.

00:13:01: Ich glaube das ich wirklich verändert hat ist einfach das in Zukunft vom User Generated Content die Möglichkeit dass jeder auch seinen Beitrag überall leisten kann seine Gedanken äußern kann und es dadurch einfach viel mehr Nutzungsoptionen gibt als noch vor.

00:13:19: Also ich nicht, nur zwanzig dreißig Jahre.

00:13:21: Das ist glaube ich etwas was sich definitiv verändert hat und auch das ja irgendwie sind wir alle always on!

00:13:26: Das war vor zwanziger Jahren irgendwie auch noch nicht als ich dazu gekommen bin.

00:13:29: wenn ich so zurückdenke es gab damals einfach in der Form noch nicht das Smartphone und man konnte überall online gehen und ich denke auch dass hat ganz viel... verändert rund um das internet und damit einfach auch automatisch rund um dass thema.

00:13:43: wie kann man gut gegen verbotene inhalte am ende angehen?

00:13:46: wer kann dagegen angehen, wer kann welchen Beitrag leisten.

00:13:50: Das Beschwerdeaufkommen zum beispiel hat sich in den jahren natürlich deutlich nach oben gesteigert was daran liegt mehr Nutzer auch zugehen kann, die das Internet nutzen und die dann wiederum ihren Beitrag leisten können indem sie manche Dinge melden.

00:14:04: Ja aber es hat nicht sich nicht nur das verändert sondern auch eure Aufgaben oder das Spektrum euer Aufgaben ist ja weit mehr mittlerweile als nur Beschwerdebearbeitung.

00:14:13: was ist denn so euer Daily Business aktuell?

00:14:15: Und wie sieht euer Team aus?

00:14:16: Wie viele Leute seid ihr?

00:14:17: Das stimmt wir sind nicht mehr nur beschwerde Bearbeitungen noch immer unsere, ich sag mal Kern ist aus dem wir die anderen Aktivitäten einfach auch gut bedienen können.

00:14:27: Wir sind ganz stark eingebunden wenn es darum geht auch Mitglieder zu unterstützen bestimmte politische Geschehene so mitzubegleiten.

00:14:33: Wir haben unser Mitgliedervormat wie beispielsweise einen Expertenlandschaftenmedien schützt wo man Dinge dann gut untereinander einmal diskutieren kann Hilfestellungen geben kann, Fragen beantworten können.

00:14:44: Das ist nur ein Thema.

00:14:45: wir geben aber auch unglaublich viele sehr erfolgreiche Webinare zum Thema.

00:14:50: wie können Eltern andere Fachkräfte die Kinder und Jugendlichen begleiten bei bestimmten Themen?

00:14:55: worauf geht es zu achten?

00:14:56: Da sind wir mindestens zweimal im Jahr aktiv anwesend sich das Save Internet Days beispielsweise in Februar und November wenn's den Aktionstag gegen sexualisierte Gewalt im Internet gibt dass wir da einfach auch Präsenz zeigen und Hilfestellungen geben.

00:15:11: Das gehört definitiv zu unserem Daily Business mittlerweile

00:15:14: mit.".

00:15:14: Und es ist ja wichtig, die Leute zu erziehen und ihnen klar zu machen gerade in jungen Jahren, pass auf das hier ist ein illegaler Inhalt!

00:15:20: Das kannst du melden, das musst du nicht in Anführungszeichen mit dir machen lassen.

00:15:23: so was musst du dir nicht angucken?

00:15:25: Das ist eben essentiell für die Zukunft.

00:15:27: Zum einen das zum anderen aber auch wenn's darum geht dass Kinder und Jugendliche bestimmte Inhalte vielleicht einfach aus... Fun-Teilen.

00:15:34: Auch das kann ja manchmal schiebgehen, da muss man noch gar nicht Richtung die ganz krassen sexualisierten Gewaltdarstellungen schauen.

00:15:40: Ich erinnere mich immer wieder gerne zurück, dass wir eine Veranstaltung an der auch ältere Schülerinnen und Schülerteile eben konnten.

00:15:46: Da ging es mehr um Äußerungsdelikte und vielleicht auch manche verfassungsfeindlichen Inhalte wo dann auch der Aha Moment war.

00:15:53: so ah so aus Fun einfach so unkommentiert darf ich manche Bilder gar nicht teilen weil ich dann viel leicht doch schon Dinge von mir gebe.

00:16:03: Auch wenn ich sie gar nicht so gemeint habe, aber ich darf das gar nicht einfach so und will gesagt haben, ja genau ein gutes Learning lasst das vielleicht lieber und distanziert dich vor manchen Dingen.

00:16:11: Aber es ist eine ganz breite Aufklärungsarbeit an der Stelle tatsächlich auch notwendig und da sind alle gefragt Wenn ich jetzt mal über so einen Inhalt stäubere im Netz irgendwas Illegales also vielleicht verfassungsfeindlich vielleicht aber auch menschenfeindliche Was passiert, wenn ich euch das melde?

00:16:27: Also was geht dann für ein Prozess los.

00:16:30: Am Ende gibt tatsächlich einen mehrstufiger Prozesslos und der erste ganz zentrale Schritt für uns ist dass wir die gemeldeten Inhalte tatsächlich betrachten.

00:16:37: Das heißt berufen die Webseiten auf oder bestimmte Postings in sozialen Netzwerken auf um uns den eigenen Eindruck von dem Inhalt verschaffen zu können weil nur dann können wir am ende auch rechtlich bewerten ob wir einen Verstoß gegen geltendes Recht haben.

00:16:55: geschmacklos ist, aber noch unter die Meinungsfreiheit und der gleichen Feldung.

00:16:58: Das heißt Schritt eins ist immer die Sichtung.

00:17:01: Anschließend schritt zwei die rechtliche Bewertungen anhand dessen was wir festgestellt haben und davon hängt dann ab wie es am Ende des Tages weitergeht ob wir ein Verstoß haben und den Provider anschreiben und dabei darum bitten die Inhalte zu löschen zum Beispiel Ob wir gleichzeitig auch eine Straftat haben wo wir dann sagen okay das zeigen wir dann natürlich auch an.

00:17:21: Löschen ist wichtig Teil eines.

00:17:23: Aber bei Strafen Waren Inhalten ist es genauso wichtig, den Täter am Ende früher oder später haphaft machen zu können.

00:17:30: und sofern uns die Beschwerdeführer eine Antwortadresse zur Verfügung stellen antworten wir auch per E-Mail kurz darüber was wir gemacht haben.

00:17:38: Man kann bei uns anonym melden.

00:17:40: das heißt dieser Schritt kann mitunter wegfallen wenn jemand von dieser Möglichkeit gebraucht macht einfach keine E-mail Adressen mit anzugeben.

00:17:47: aber als Grundsatz wenn das mit angegeben ist, dann melden wir uns auch zurück.

00:17:51: So jetzt habe ich gleich mehrere Fragen Alexandra.

00:17:53: vielleicht erstmal weil es wahrscheinlich schneller zu beantworten ist wenn ihr euch das alles anguckt was euch gemeldet wird da seht ihr bestimmt Dinge die man selber auch nicht freiwillig sehen will.

00:18:01: wie geht's den Mitarbeitenden damit und wie könnt ihr dagegen wirken dass sie nicht abends Albträume haben zu Hause?

00:18:07: Es ist tatsächlich ein herausfordernder Job den auch nicht jeder machen kann und es ist auch nicht schlimm, wenn man ihn nicht machen kann.

00:18:15: Da mir natürlich vollstes Verständnis dafür.

00:18:16: das ist quasi immer bei uns auch ich sage mal die harte Nuss im Vorstellungsgespräch dass man so ein bisschen abklopft okay wie viel traut man sich zu?

00:18:24: Kann die Person unserer Ansicht nach geeignet sein mit diesen Inhalten klarzukommen?

00:18:29: was uns für mich ausmacht insgesamt ist dass wir es schaffen sehr emotional distanziert an die Thematik ranzugehen.

00:18:35: Also für mich ist es zumindest mal bildlich eine Schutzmauer aufzubauen, um damit umgehen zu können.

00:18:40: Wir lassen sie mitarbeiten und damit aber nicht alleine.

00:18:42: Wir bieten beispielsweise vorsorgliche Unterstützung durch eine Traumatologin an, damit man einfach auch wirklich dafür sorgt dass die eigene Schutzmau stabil bleibt.

00:18:51: Das ist mehrmals im Jahr beispielsweise möglich.

00:18:53: wir sorgen dafür das in der Regel niemanden die Inhalte alleine betrachtet.

00:18:57: d.h.

00:18:57: Hinweisbearbeitung ist bei uns immer aus dem Büro heraus ganz wichtig.

00:19:00: Distanz zum eigenen Lebensbereich selbst in Zeiten von Homeoffice Und wir gucken, dass man nach Möglichkeit halt nicht alleine im Büro sitzt.

00:19:07: Wenn mal irgendwas ist, das man reden kann oder wenn man merkt, dass jemand vielleicht aus irgendeinem Grund emotional angeschlagener ist.

00:19:13: Dass man sagen kann kommt pass auf Wir tauschen unsere Anführungszeichen schichten Du machst das vielleicht heute nicht und dafür übernimmst du dann meinen Part.

00:19:21: morgen bringt uns auch Automatisch zum nächsten Punkt.

00:19:24: Keiner macht vierzehn Stunden die Woche die Hinweisbearbeitung, das ist immer ein Teil der Gesamtaufgabe... Das wird zermürmend.

00:19:30: ...die wir mit arbeiten in dem Team haben.

00:19:31: Und aber das bringt mich zum zweiten Teil meiner Fragenvielfalt, die ich ja gerade schon erwähnte.

00:19:36: weil du hast jetzt grade gesagt naja und dann kann der Inhalt gelöscht werden?

00:19:40: Jetzt gibt es ja schon seit Jahren eine unsägliche Diskussion.

00:19:43: Ich sage mal an vielen Stellen sagt die Politik wir sperren!

00:19:46: Und ihr sagt Wir löschen.

00:19:48: Erklär doch nochmal ganz kurz den Unterschied und warum Löschen eigentlich sinnvoller ist als Sperren.

00:19:52: Diese seit Jahren andauernde beziehungsweise immer wieder aufkommende Diskussion ist tatsächlich ein Phänomen dabei.

00:19:58: Ist das eigentlich so ganz klar aus unserer Sicht zumindest?

00:20:01: Beim Löschen wird der Inhalt entfernt bzw eine Webseite komplett aus dem Netz genommen,

00:20:07: d.h.,

00:20:08: der Inhalten um den es geht für niemanden mehr im weitesten Sinne aufrufbar zugänglich ist weg.

00:20:15: Sperren vergleiche ich immer ganz gern mit einem Vorhang, den man nutzt, um ihn beim Fenster Fortzuziehen und bestimmte Dinge nicht mehr zu sehen, die draußen passieren.

00:20:23: Die einem vielleicht nicht gefallen.

00:20:25: Je nachdem wo man wohnt.

00:20:26: Das ist vielleicht irgendwie ein Brennpunkt und möchte manche Dinge nicht sehen oder hat einfach kein Lust auf seinen Nachbarn wie auch immer.

00:20:31: Man zieht es davor, kriegt selbst nichts mehr mit.

00:20:34: Draußen passieren aber noch so.

00:20:36: ähnlich ist das mit den Zugangssperren.

00:20:38: Es wird quasi einen technischer Vorhang vor gewisse Seiten gestellt.

00:20:43: Das Aufrufen wird erschwert, man kann es aber schaffen diesen Folgen auch wieder zur Seite zu schieben.

00:20:48: und dann ist der Inhalt noch da.

00:20:49: Das lässt sich technisch durch das Verwinden von einem VPN beispielsweise gut umgehen oder indem man Proxies nutzt.

00:20:54: also die Sperre verhindert nicht dass der Inhalten noch immer da ist weshalb wir auf mehr darauf setzen.

00:20:59: das löschen ja und auch immer gesehen wird das heißt am besten ist der inhalt ist weg.

00:21:04: also löschan haben wir verstanden Würst genauso gemacht.

00:21:07: Jetzt ist ja folgendes Problem, also A Internet ist global B Riesen groß C Viele Schweinehunde unterwegs D jetzt auch noch KI.

00:21:14: kommt ihr mit dem Löschen überhaupt noch hinterher?

00:21:16: oder werden dann so illegale Inhalte So oft auf so vielen Stellen vervielfältig dass ihr das Gefühl habt hey Sissy Forsey hoch mit der Kugel?

00:21:23: Ja, ich glaube Hase und Igel-Spiel hatten wir schon immer bei der ganzen Thematik.

00:21:27: Das ändert aber nichts daran, dass wir weiterhin sehr aktiv sind und auch sehr erfolgreich sind.

00:21:32: wenn nicht so die Löschberichte und unsere Jahresberichte mir auch anschauen, die wir regelmäßig veröffentlichen bzw.

00:21:38: auch seitens der Bundesregierung im Bereich Missbrauchsdarstellungen jährlich veröffentlicht werden haben wir eine sehr hohe Löschquote obwohl die Inhalte, die uns gemeldet werden also die Anzahl der Meldung nach oben geht.

00:21:48: es ist nach wie vor ein sehr effektives Instrument, von dem wir an der Stelle auch nicht abweichen möchten.

00:21:54: Ist ja klar!

00:21:55: Hat sich bewährt aus unserer Sicht.

00:21:57: Wenn Inhalte woanders noch hoch ploppen ist das natürlich dann irgendwie unschön.

00:22:00: aber sobald uns das bekannt wird können wir auch dagegen ja gut vorgehen.

00:22:04: Das ist das Schöne daran.

00:22:05: Super.

00:22:06: Jetzt hat sich vieles verändert, zum Beispiel mit dem Digital Services Act und den Konzept der Trusted Flagger.

00:22:11: Hat sich auch die Rolle von Beschwerdestellen verändert?

00:22:14: Was bringt es in der Praxis?

00:22:15: Ich sage mal ist es wohl oder weh?

00:22:17: oder welche neuen Herausforderungen sind entstanden?

00:22:19: Ich glaube das macht Sinn an dieser Stelle nochmal so ein bisschen darauf zu verweisen dass die Gesetzgeber beim Digital Services act eigentlich einen Instrument gekapert haben, dass es seit vielen Jahren schon im Bereich der Bekämpfung illegaler Inhalte gab als freiwilliges Instrument beziehungsweise unterschiedlichen Diensteanbieter an Organisationen, die sich in der Vergangenheit ausgezeichnet haben durch besonders valide Informationen über verbotene Inhalte.

00:22:45: Das heißt den hat man eine gewisse Art Fastlane eingeräumt um Inhalten zu melden.

00:22:50: Gesetzgeber hat gesagt finden wir super wollen wir auch verankern mal gesetzlich und man muss es ja ein bisschen anders machen.

00:22:57: Wir setzen ein paar festgeschriebene Voraussetzungen daran.

00:23:01: die muss man erfüllen nur dann wird man zugelassen.

00:23:03: Sprich, man hat es formalisiert.

00:23:05: Da liegt so aus unserer Erfahrung heraus.

00:23:08: eine ganz große praktische Herausforderung stand jetzt weil die Anforderungen nicht unbedingt eins zu eins deckungsgleich sind mit dem was früher einmal etabliert war als die Plattform das als eigenständiges Angebot unterbreiten konnten und es tatsächlich Beschwerdestellen gibt die damit kämpfen die Zulassung auch bekommen zu können bei der Anforderung halt an der Praxis mitunter auch vorbeigehen.

00:23:32: Das ist so ein bisschen das, was wir sehr schade finden.

00:23:35: Wir hoffen aktuell sehr stark darauf es soll klarstellende Leitlinien in der europäischen Kommission dazu geben die müssten im Laufe des Jahres final verabschiedet werden und wenn sie sich nicht exorbitant von dem weiterentwickelt haben was wir als Entwurf kommentieren durften im laufe des ersten halb Jahres zwanzig sechsundzwanzig sieht das glaube ich ganz gut aus und gibt dann noch wieder mehr Optionen für die Beschwerdestellen dass alle auch diesen offiziellen Siegel kriegen.

00:24:01: Aber nicht hier in echt, weil sonst rums das so im Mikro.

00:24:05: Lass uns nochmal kurz gucken und mal realistisch draufgucken.

00:24:07: jetzt mit dreißig Jahren Erfahrungen der ECO Beschwerdestelle ist selbst und Co-Regulierung heute noch das richtige Modell für das globale Internet indem ja quasi unser ganzes Leben stattfindet?

00:24:16: oder brauchen wir angesichts eben der Macht globaler Plattform grundsätzlich mehr staatliche Kontrolle?

00:24:21: Wie seht ihr das?

00:24:22: ich mein Ihr habt ja ich sag mal Wir haben das Ohr am Netz aber ihr habt das Ohrer am Puls der Zeit.

00:24:27: Regulierung rennt halt Immer der Realität hinterher und Selbstregulierung funktioniert noch immer sehr gut, ist unsere Erfahrung.

00:24:35: Das heißt für uns ist ganz klar Selbstregulation muss und wird auch weiterhin eine Rolle spielen um agil und flexibel auf neue Entwicklungen auch reagieren zu können.

00:24:44: Und gerade die Zusammenarbeit ist einfach der Schlüssel um da auch gut und schnell sich gegebenheiten Ja, anpasst zu können.

00:24:51: Ein Wunsch für die Zukunft quasi schon mal.

00:24:53: und jetzt noch ein Blick in selbige!

00:24:55: Welche Entwicklung aktuell mit so Blick auf illegale Inhalte macht euch im Moment am meisten Sorgen bei der Beschwerdestelle?

00:25:00: Und was wünscht ihr euch dann für die kommenden Jahre wie es weitergeht – mit euch, für euch oder gemeinsam mit

00:25:06: euch?!

00:25:07: Ich tue mich tatsächlich schwer zu sagen welche Entwicklungen mit Blick auf die illegalen Inhalten selbst mir gerade besonders Sorge bereiten.

00:25:14: da gibt's eigentlich unterschiedliche Stränge, die ist irgendwie... zu beobachten gilt auf der einen Seite.

00:25:20: Wie schnell können vielleicht einfache harmlose Bilder, die unbedarf verbreitet werden?

00:25:26: Es braucht Werten als Vorlage für inkriminierte Inhalte, die Technologie geht da weiter.

00:25:30: Das nicht heißt dass Technologie an sich schlecht ist aber ich glaube wir Menschen müssen uns da auch ganz häufig an die eigene Nase fassen und einmal überlegen Ist es vernünftig was ich damit mache?

00:25:39: Ist das gut was ich mit machen oder lasse ich's lieber?

00:25:41: Das ist so ein Punkt den wir glaube stark im Blick behalten müssen.

00:25:45: und das andere ist auch dass man halt sehr schnell vielleicht heutzutage Dinge online äußert und verbreitet, die man in der Kneipe so nicht gesagt hätte.

00:25:54: Weiß ich nicht?

00:25:56: Das ist etwas was wir definitiv glaube ich weiter allesamt gut im Blick behalten müssen um eine gute Internetnutzung zu haben.

00:26:05: das irgendwie mit Blick auf die Inhalte ja aber es wünschen mir uns tatsächlich weiterhin die Unterstützung und das Backing von den relevanten Akteuren Und vielleicht auch an der einen oder anderen Stelle, dass die Einsicht da ist.

00:26:18: Dass es einfach auch ja der staatlichen Unterstützung an manchen Stellen braucht.

00:26:22: wenn ich das so deutlich hier an der Stelle mal sagen darf wie bekommen EU Fördergelder?

00:26:26: Das ist gut und wichtig.

00:26:27: ohne die kann aber das Netzwerk von Beschwerdestellen glaube ich auch perspektivisch nicht ewig üben so konstant sein.

00:26:33: Das heißt, das muss einfach eine Kontinuität haben und

00:26:36: erhalten.".

00:26:37: Und nicht immer so projektbezogen von Jahr zu Jahr sich hangeln?

00:26:40: Weil dann hält man nicht weitere dreißig Jahre durch!

00:26:43: Dreißig jahre Eko-Beschwerdestelle – das ist sozusagen unser Thema heute.

00:26:46: über die aktuelle Arbeit uns ein bisschen was sich verändert hat.

00:26:49: Konnte ich sprechen mit Alexandra Kochskieber der Leiterin der Eko Beschwerdeställe.

00:26:52: Liebe Alexandra, liebe Grüße ans Team macht genauso weiter hilft uns das Internet besser zu machen.

00:26:57: Danke dir.

00:26:58: Richtig aus und bis zum nächsten.

00:27:00: Ja jetzt haben wir gehört Wie bei der Beschwerdestelle konkrete Inhalte geprüft werden bzw.

00:27:05: vorher erst mal gemeldet werden, dann geprüfed und weitergeleitet an den jeweiligen Provider- und auch an Strafverfolgungsbehörden?

00:27:13: Bei einer globalen Plattform beginnt die Herausforderung natürlich schon früher denn dort stellt sich ja die Frage wie erkennt man problematische Inhalten bei dieser Masse?

00:27:23: Sven du hast es vorhin ja schon gesagt Eine Sekunde und unzählige Stunden Material da kannst Du als Mensch einfach nicht mehr drauf gucken.

00:27:31: ersten Quartal, sechsundzwanzig entfernte YouTube noch einen in Angaben fast zehn Millionen Videos wegen Verstößen gegen die eigenen Community Guidelines.

00:27:39: Also das ist schon echt krass!

00:27:41: Der größte Teil davon wurde aber automatisch erkannt weil eben Menschen so schnell gar nicht gucken können Weil ohne automatisierte Systeme ist Moderation in diesem Maßstab kaum denkbar, kann sich ja jeder vorstellen.

00:27:50: Aber gleichzeitig bleiben Kontext, satire journalistische Berichterstattung oder Grenzfälle jeden ganz schwer für eine KI- oder für die Automatisierung zu bewerten.

00:28:00: Das heißt da müssen dann am Ende doch wieder Menschen ran.

00:28:02: Ja also wie moderiert man?

00:28:04: Milliarden Reichweite ohne Entscheidungen vollständig eben an Algorithmen abzugeben.

00:28:09: Und welche Rolle spielen unabhängige Beschwerdestellen dabei?

00:28:12: Darüber habe ich mit Dr.

00:28:14: Moritz Holzgräfe von YouTube gesprochen.

00:28:18: In den letzten dreißig Jahren hat sich das Internet grundlegend verändert, aber nicht nur das Internet an sich ändert sich stetig in dem neue Angebotsarten hinzukommen.

00:28:27: auch einzelne Angebotsarten wie beispielsweise Online-Plattformen entwickeln sich kontinuierlich weiter.

00:28:33: YouTube ist längst mehr als nur eine Videoplattform.

00:28:37: Für viele ist es Informationsquelle, Unterhaltungsangebot und ein Ort für gesellschaftliche Debatten zugleich.

00:28:44: Damit stellt sich auch die Frage wie viel Verantwortung trägt ein Plattformbetreiber für das was auf seiner Plattform passiert?

00:28:51: Welche Handlungsoptionen bestehen im Umgang mit illegalen Inhalten auf der Plattform und wo liegen eigentlich die Grenzen von Moderation- und Regulierung.

00:29:00: Und darüber spreche ich heute mit Dr.

00:29:02: Moritz Holzgräfer, er ist Head of Government Affairs und Public Policy bei YouTube.

00:29:07: Herzlich willkommen Moritz hier beim Ohrm Netz!

00:29:09: Vielen Dank für die Einladung.

00:29:11: Ja, Moritz YouTube gibt es ja inzwischen jetzt schon rund zwanzig Jahre.

00:29:14: Unsere Eco-Beschwerdestelle tatsächlich schon seit dreißig Jahren.

00:29:18: wenn du mal so auf diese jahrzehnte Jahr eigentlich zurückblickst wie hat sich aus deiner Sicht der Umgang mit illegalen oder auch problematischen Inhalten im Netz verändert?

00:29:28: Ja, du hast absolut recht.

00:29:29: In der Tat gibt es YouTube bereits seit mehr als zwanzig Jahren und in den letzten zwanziger Jahren hat sich nicht nur die Plattform weiterentwickelt natürlich hat sich auch der Umgang mit illegalen und problematischem Inhalten grundlegend professionellisiert.

00:29:41: so erkennen wir Verstöße gegen unsere Plattformrichtlinien heute zu über neunzig Prozent proaktiv und automatisiert.

00:29:48: bei rechtsfiedrigen Inheiten setzen wir den gegenüber auf.

00:29:51: klare rechtsstandliche Meldeverfahren ja und eben die enge Kooperate mit Partnern wie der ECO in Beschwerdestelle.

00:29:57: Und wenn wir mal zurückblicken, kann man glaube ich sagen dass die Moderation primär reaktiv gewesen ist?

00:30:04: Heute arbeiten wir proaktiv und das heißt mit einem hoch modernen Zusammenspiel und zwar aus Technologie menschlicher Expertise und natürlich auch solchen Kooperationen.

00:30:14: Wir haben vor diesem Hintergrund Milliarden Sicherheitstechnologien investiert und so ist es uns eben auch möglich unsere Community-Richtlinien skaliert durchzusetzen.

00:30:21: Also es geht heute letztlich um Dreierlei, um klare Spielregeln und transparente Meldikatesysteme.

00:30:27: Und drittens eine enge Verzahnung mit!

00:30:29: zivilgesellschaftlichen Beschwerden stellt.

00:30:31: Jetzt reden wir ja über eine enorme Menge an Inhalten, die da tagtäglich bei YouTube hochgeladen werden.

00:30:37: Du hast schon so ein bisschen gesagt ihr habt einen Mix aus Technologien menschlicher Expertise, Kooperationen wie mit uns.

00:30:44: aber wie gelingt es euch denn genau in so einem großen Maßstab zwischen illegalen Inhalten Verstößen gegen eure eigenen Plattformregeln und vielleicht eben auch zulässigen aber möglicherweise eben kontroversen Inhalten zu unterscheiden.

00:30:59: Also wir trennen bei der Moderation klar zwischen zwei Wegen, also einerseits den Verstößten gegen unsere Community-Richtlinien und auf der anderen Seite eben rechtliche Vorwürfe wenn man so will.

00:31:08: Und unsere eigenen Community Richtlinien setzen wir weltweit proaktiv durch.

00:31:13: Bei rechtlichen Vorwörfen greift dem gegenüber unser Meldeverfahren.

00:31:17: was passiert bei diesem Meldverfahren?

00:31:18: Hier prüfen juristisch geschulte Teams die gemeldeten Inhalte nach geltendem Recht.

00:31:22: Also mit anderen Worten, ein automatisiertes Suche nach Rechtswidrigkeit gibt es da nicht.

00:31:27: Das erfolgt dann eben reaktiv.

00:31:29: um das vielleicht noch ein bisschen auszudifferenzieren.

00:31:31: im Grunde muss man zwischen drei Kategorien unterscheiden.

00:31:34: erstens gibt es die Verstöße gegen unsere Community Guidelines und unsere Community guidelines sind wenn man so will unsere Hausordnung.

00:31:41: Verschülse dagegen werden zum Beispiel Hassrede oder Gewaltverherrlichung Und hier scann unsere Systeme nach Mustern.

00:31:48: Dann gibt es die rechtswidrigen Inhalte, wie du richtigerweise sagst.

00:31:51: Jedes Land hat ja seine eigenen unterschiedlichen Gesetze und weil ein Algorithmus eben keine juristische Substrumption vornehmen kann gilt hier das bewährte Prinzip melden prüfen und entfernen.

00:32:02: Ja dann gibt's die dritte Kategorie also kontroverse aber legale Inhalten.

00:32:07: Manche sprechen da auch von awful but lawful Inhalten und dazu möchte ich deutlich sagen auf unserer Plattform werden unterschiedliche Perspektiven gefördert und wir scheuen uns auch nicht vor meines Verschiedenheiten und Debatten, solange sich diese eben innerhalb der Richtlinien halten.

00:32:23: Jetzt hast du auch schon angesprochen ihr verwendet auch automatisierte Systeme.

00:32:27: Auch KI spielt ja eine immer größere Rolle in der Moderation.

00:32:30: Wo siehst Du denn stärken solcher Systeme?

00:32:33: bei der Modération?

00:32:35: Würdest du sagen, bleibt aber menschliche Bewertung auch unverzichtbar?

00:32:39: Also automatisierte Systeme sind unschlagbar schnell, darin eindeutige richtigen Verstöße zu bekämpfen.

00:32:44: Das kann dann zum Beispiel die Bekämpfung von Spam sein oder zum Beispiel bekannte Missbrauchsmuster, die man sieht.

00:32:50: Überall aber da wo es um Kontext geht also politische Debatten, rechtliche Feinheiten, Satire... Da bleibt aus unserer Sicht das menschlichen Urteil einfach unersetzlich.

00:33:01: Wir damit sagen Maschinen sind hervorragend bei der Mustererkennung was für die Durchsetzung unserer Richtlinien zentral ist und das zeigt sich eben auch bei den Zahlen über neunzig Prozent der gelöschen Inhalte.

00:33:11: werden richtigen Verstößen, werden wir uns zuerst maschinell markiert.

00:33:16: Oft übrig bevor sie einen einzigen Aufruf haben.

00:33:18: aber kein I versteht eben keine Ironie keinen künstlerischen Kontext kann auch keine rechtliche Abwägung zwischen zum Beispiel Kunstfreiheit und Persönlichkeitsrecht leisten.

00:33:27: also letztlich kann man sagen, ähnliche Prüfteams und juristische Fachteams sind der Rückgrat für solche schwerwiegende Einzelfallentscheidungen.

00:33:36: Also da wo es letztlich auf die Details ankommt.

00:33:38: Unsere Eco-Beschwerdestelle versteht sich ja als Schnittstelle zwischen Nutzerinnen, Plattformen, Providern und Behörden.

00:33:45: Warum ist eine solche unabhängige Beschwerdeställe auch heute noch für eine Plattform wie YouTube so wichtig?

00:33:52: Die Eco-beschwerdestellis für uns in der Tat ein unverzichtbarer Partner.

00:33:56: Warum ist das so?

00:33:57: Ja, die Beschwerdestelle bietet ja Nutzerinnen und Nutzern eine unabhängige neutrale Anlaufstelle.

00:34:02: Und sie liefert uns außerdem rechtlich vorgeprügte Meldung, die unsere Teams dann sofort mit hoher Priorität auch bearbeiten können.

00:34:10: Ich glaube man kann sagen dass es auch ganz zentral für die Akzeptanz ist.

00:34:14: Unabhängigen Beschwerde stellen schaffen nämlich Vertrauen weil Nutzer eben auch eine Anlauf Stelle außerhalb der Plattform haben.

00:34:21: Die Beschwerdestellungen bündelt ja Fachwissen, Filters Missbrauchsmeldungen gibt qualifizierte Hinweise an uns, aber auch andere Plattformen.

00:34:29: Und bei schweren Straftaten gibt es ja auch Hinweise direkt am Strafverfolgungsbehörden weiter.

00:34:34: Also wenn man so will handelt das ja um ein Modell der korrigulierten Selbstkontrolle Und das ist mein Sachnis ein ganz zentraler Pfeiler für ein funktionierendes sichsicheres Internet.

00:34:44: Es ist ja Selbstkontrolle, dass eine aber wir sehen ja auch immer stärker politische Regulierung in diesem Bereich gerade auf europäischer Ebene.

00:34:53: mit dem Digital Services Act im DSA hat sich die europäische Regulation von Plattformen deutlich verändert.

00:34:59: so müssen Plattform jetzt zum Beispiel ja auch mit anerkannend Trusted Flaggern zusammenarbeiten mit Streitbeilegungsstellen.

00:35:06: Was hat sich dadurch bisher in der Praxis bei Melde- und Beschwerdeprozessen verändert?

00:35:12: Also wenn man so will, hat der DSL ja insbesondere das Prinzip melden und prüfen europaweit harmonisiert.

00:35:17: Und auch verbindlicher gemacht.

00:35:19: also in der praxis bringt er es für die nutzer vor einem dreierlei noch mehr transparenz.

00:35:25: zweitens strukturierte begründung bei entscheidungen Ja, und auch standardisierte Schnittstellen für zertifizierte Hinweisgeber.

00:35:31: Eines ist mir dabei wichtig zu betonen.

00:35:33: Viele dieser Mechanismen gab es bei YouTube bereits vor dem DSA – ich denke zum Beispiel an Meldemöglichkeiten, Beschwerdewege, Trusted Flaggerprogramme – aber der Ethical Services Sector hat dieses Standards dann eben europaweit vereinheitlich und vor allem rechtlich festgeschrieben.

00:35:49: Dazu gehören eben diese schnelleren Rückmeldekanäle die Transparenzberichte und Mechanism for außergerichtliche Streitbelegungen Und all das stärkt aus unserer Sicht, dass Rechtsstaatsprinzip im Netz und wichtig aber ohne das Verbot einer allgemeinen Überwachungspflicht aufzuweichen.

00:36:04: Ich glaube, das ist ein ganz zentraler Punkt der uns auch natürlich sehr immer beschäftigt.

00:36:09: Jetzt entwickelt sich ja auch das Internet die Digitalisierung immer weiter gerade natürlich auch durch das ganze Thema KI-Stichwort Deep Fakes.

00:36:17: hier entstehen ja auch immer neue Herausforderungen für euch als Plattform.

00:36:22: wo siehst du da aktuell noch die größten Lücken oder ungelösten Fragen im Zusammenspiel von Technik, Regulierung und Selbstregulierung.

00:36:31: Also ich glaube man muss erst mal konstatieren dass der Herausforderung nicht in der KI-Technologie an sich liegt.

00:36:37: am Ende geht es um die Täuschungsabsicht.

00:36:39: also wir setzen deswegen auch ganz klar auf Kennzeichnungspflichten für realistische KI Inhalte und Schutztools gegen Identitätsmissbrauch.

00:36:48: Und auch Regulierungen sollte hier genau ansetzen, also beim konkreten Missbrauch oder beim Schaden und nicht bei der Technologie selbst.

00:36:54: Ich glaube das muss man als Disclaimer immer voransetzen weil künstliche Intelligenz natürlich auch sehr viele Chancen bietet.

00:37:01: Und wir nähern uns diese Herausforderungen von künstlicher Intelligenz auf drei Wegen.

00:37:05: Einerseits eben mit Transparenz, Creator müssen bei uns offenlegen in realistische Videos mit generativer KI erstellt wurden.

00:37:12: Wir schützen aber auch vom Missbrauch.

00:37:14: also wir bieten Mechanismen um die Entfernung von KI-generierten Inhalten zu beantragen zum Beispiel die eigene Stimme und das Gesicht ohne Zustimmung nachahmen.

00:37:22: und ja wir haben Standards für beteiligungseben an offenen Standards auch industrieweit um eben die Herkunft digitaler Medien nachvollziehbar zu machen.

00:37:31: Und natürlich begleiten wir auch Regulierungsansätze konstruktiv, dabei gilt eben Gesetze sollen aus unserer Sicht technologieoffen sein sollten.

00:37:39: Risiko basiert dort eingreifen wo Schaden entsteht und wie gesagt falsch wäre es Werkzeuge pauschal einzuschränken.

00:37:45: Letzte Frage Kinder- und Jugendliche sind ja eine besonders schützenswerte Zielgruppe und auch eine besonders starke Zielgruppegrade bei euch auf der Plattform.

00:37:54: gleichzeitig Wollen Sie natürlich YouTube auch möglichst selbstständig nutzen?

00:37:59: Wie findet ihr da die richtige Balance zwischen Schutz, Selbstbestimmung und Teilhabe.

00:38:04: Und wie wird sich YouTube da auch künftig noch weiterentwickeln?

00:38:07: Ja das ist ja ein Stück weit Thema der Stunde der Zeit.

00:38:10: also unser Leitprinzip lässt sich da wie Folge auf den Punkt bringen altersgerechte Teilhäbe statt pauschale Ausschluss.

00:38:17: Also von diesem Hintergrund bieten wir eben auch abgestufte Erlebnisse auf unserer Plattform an.

00:38:21: So nennen sie dabei insbesondere unsere eigenständige App für unsere Jungs Nutzer, also YouTube Kids.

00:38:27: Unsere Konnen mit Elternaufsicht in der YouTube Hauptapp als begladeter Übergang mit Filtern und älterlicher Kontrolle bis hin aber auch zu unseren strengen Standardschutzeinstellungen für Teenager.

00:38:38: Noch diese Weise lernen junge Menschen eben sicher sich selbst bestimmt im digitalen Raum zu bewegen.

00:38:45: Und ihnen zukommen weitere Schutznachsagen die wir für unsere jüngeren Nutzer implementiert haben.

00:38:50: Beispielsweise sind Uploads von minderjährigen standardmäßig privat, die Autoplay Funktion ist deaktiviert.

00:38:56: Wir haben standardisierte Schlafen zum Pausenfall der Erinnerung und natürliches personalisierte Werbung für Minderjährige komplett deaktivert.

00:39:03: also wir begrenzen sozusagen die Nutzung in dieser Hinsicht und wir begrenzen außerdem wiederholte Empfehlungen von Inhalten, die zum Beispiel das eigene Körperbild negativ beeinflussen können.

00:39:15: Und auf diese Art und Weise glaube ich haben wir einen holistischen Ansatz um die Balance zwischen Schutz, Selbstbestimmung und Teilhabe eben zweckmäßig vorzunehmen.

00:39:23: Ja Plattformen wie YouTube haben eine besondere Verantwortung im Umgang mit unerwünschten und illegalen Inhalten im Netz.

00:39:30: Wie sie die wahrnehmen welche Standards und Prozesse Sie dort eingeführt haben darüber habe ich mit Dr.

00:39:38: Moritz Holzkräfe von YouTube gesprochen.

00:39:39: Herzlichen Dank für diese Einblicke, Moritz!

00:39:41: Vielen Dank fürs Interesse.

00:39:42: Das haben wir viel über Selbstregulierung geredet.

00:39:46: Die Beschwerdestellen dieser Welt, natürlich einfach an.

00:39:48: die Eko-Beschwerdestelle kümmert sich darum illegale Inhalte im Netz zu löschen nach Meldung von Menschen denen die aufgefallen sind, die drüber gestolpert sind.

00:39:56: YouTube selber versucht natürlich die eigenen Community Guidelines sozusagen durchzusetzen in dem sehr viel Technik eingesetzt wird um Verstöße zu finden.

00:40:05: am Ende gucken dann auch noch mal Menschen obendrauf aber Am ende ist die Frage was kann der Staat denn eigentlich noch tun wenn wir so zu sagen Selbstkontrolle an die eine oder andere Grenze stoßen.

00:40:15: Da gibt es dann so Sachen wie zum Beispiel Indizierung, aber wie funktioniert das eigentlich alles?

00:40:20: Ja und wir greifen am Ende staatlicher Jugendmedienschutz Beschwerdestellen, Plattformen und technische Schutzsysteme ineinander.

00:40:27: darüber habe ich mit Nilani Mörle gesprochen.

00:40:32: Nachdem wir uns heute bereits mit verschiedenen Perspektiven auf den Schutz von Kindern und Jugendlichen in der digitalen Welt beschäftigt haben, schauen wir jetzt einmal genauer auf den gesetzlichen Jugendmedienschutz.

00:40:43: Dafür haben wir Nilani Mörley zu Gast.

00:40:45: Sie leitet das Referat GJMS – die Prüfstelle gesetzlicher Jugendmedienschutz bei der Bundeszentrale für Kinder- und Jugendmedienschutzz kurz BZKJ.

00:40:56: Mit ihr möchte ich darüber sprechen wie gesetzlicher Jugendmedienschutz in der Praxis funktioniert, welche Aufgaben die Prüfstelle übernimmt und vor welchen konkreten Herausforderungen der Schutz von Kindern und Jugendlichen im digitalen Raum heute steht.

00:41:10: Herzlich willkommen beim Ohr am Netz Frau Mörle!

00:41:12: Ja, schönen guten Tag.

00:41:14: Vielen Dank für die Einladung.

00:41:16: Lassen Sie uns gleich mal starten.

00:41:17: was passiert denn eigentlich wenn die Löschung eines gemeldeten illegalen Online-Inhalts zum Beispiel bei unserer ECO Beschwerdestelle nicht und dann eben ein Indizierungsverfahren eingeleitet werden muss.

00:41:31: Wie läuft so ein Verfahren ab?

00:41:33: Ja, das ist ein recht umfangreiches Verfahren.

00:41:36: Zum Beispiel ECO ist laut Gesetz Antragsberechtigt und das heißt wir können unsere Indizierung Verfahren auch gar nicht vom Selbstbeginn.

00:41:45: Wir sind da immer auf den Antrag oder eine Anregung von den berechtigten Stellen abhängig.

00:41:50: Das heißt, wir können nicht dem Markt oder das Netz scannen und schauen was in unseren Augen Juli gefährden sondern genau das wollte der Gesetzgeber verhindern tätig werden.

00:42:04: Das heißt, wenn jetzt beispielsweise dann von ECO ein Antrag reingeht können wir einen Indizierungsverfahren beginnen.

00:42:11: Der Gesetzgeber unterscheidet zwischen Anträgen und Anregungen.

00:42:15: bei Anregung da schaue ich erst mal ist das Verfahren geboten also die Durchführung des Verfahrens im Interesse des Jugendschutzes.

00:42:27: Ist der Spiegelraum enger?

00:42:29: Da ist eine Einstellung nur möglich, wenn einer Jugendgefährdung offensichtlich nicht gegeben ist.

00:42:34: Das heißt bei Anträgen legen wir in der Regel eine Akte an und das Verfahren wird durchgeführt.

00:42:40: Antrags- und Anregungsberechtigt sind nach dem Gesetz – man kann da ganz grob sagen alle Behörden!

00:42:48: Bei der Aktenanlage wird schon einmal eine Recherche betrieben, welche Verfahrensbeteiligten er gibt es.

00:42:55: Welche rechte Inhabenden gibt es bei digitalen Diensten also bei Internetseiten?

00:43:01: holen wir auch immer eine Stellungnahme der KJM, der Kommission für Jugendmedienschutz ein.

00:43:06: Die sich dann dazu äußert, ob sie eine Aufnahme in die Liste befürwortet oder ablehnt.

00:43:12: Wenn diese Schritte erledigt sind, dann schauen wir uns das Medium an und dann erfolgt so eine Art Vorprüfungen.

00:43:21: Und der Maßstab... Welchen Art des harten Kreises schauen wir uns da an?

00:43:26: Da ist nach der Rechtsprechung, dass das der gefährdungsgeneigte Jugendliche.

00:43:31: Das heißt Jugendliche die vielleicht schon mal in Kontakt mit entsprechenden Medien gekommen sind, die beispielsweise schon Gewalt-Affin sind oder sich in extremistischen Szenen schon aufhalten.

00:43:45: und da dann einfach der Blick wie wirkt so ein Medium?

00:43:51: Und dann die Frage, wann ist ein Medium überhaupt jugendgefährdend?

00:43:57: Das ist auch im Gesetz festgelegt.

00:44:00: Dass Medien, die geeignet sind, die Entwicklung von Kindern oder Jugendlichen oder ihre Erziehung zu einer eigenverantwortlichen und gemeinschaftsfähigen Persönlichkeit zu gefährden.

00:44:09: Das Gesetz hat dann beispielsweise auch Tatbestände aufgeführt, wie zum Beispiel die Unsittlichkeit oder verruhend wirkende Zugewalttätigkeit oder Rassenhass anreizende Medien aufgelistet.

00:44:23: Und die Spruchpraxis der Prüfstelle hat darüber hinaus noch weitere Tatbeständer entwickelt die auch teilweise von der Rechtsprechung schon bestätigt wurden.

00:44:33: Das ist dann zum Beispiel die Verharmlosung von Drogen, Konsum oder Alkohol-Konsum?

00:44:39: Die Verharnlösung oder Verherrlichungen des Nationalsozialismus, Diskriminierung vom Menschengerupten und die Demokratiefeindlichkeit.

00:44:47: Okay also das ist ja ein wirklich wahnsinnig aufwendiges Verfahren!

00:44:52: Frau Mörder welche Folgen hat das denn jetzt... Also was bedeutet das wenn da tatsächlich einen Inhalt Indiziert wird.

00:44:59: Das bedeutet zunächst, dass dieses Medium in die Liste der Junggefährlichen Medien aufgenommen wird.

00:45:05: im Gesetz haben wir da einen Unterschied zwischen der öffentlichen und der nicht-öffentlichen Liste.

00:45:11: das ist aus Jugendschutzgründen so geregelt.

00:45:13: in der öffentliche Liste werden alle Trägermedien eingetragen das heißt ein physisch vorhandenes Medium seines Bücher Zeitschriften CDs Filme Spiele Die werden in die öffentliche Liste eingetragen.

00:45:29: und alle digitalen Dienste, UALs, Websites.

00:45:32: Die werden alle in die nicht-öffentliche Leste eingetragen Und mit diesem Eintrag in die Liste sind weitreichende Verbreitungs- und Werbebeschränkungen im Gesetz vorgesehen.

00:45:43: Das heißt, man kann das so zusammenfassen dass das indizierte Medium Kindern und Jugendlichen nicht mehr zugänglich gemacht werden darf.

00:45:51: Also das heißt es darf nicht öffentlich verworben werden Es darf nicht ausgestellt verkauft werden.

00:45:59: Im Internet bedeutet das also der JMSTV, der Jugendmedienschutzstaatsvertrag.

00:46:04: Der hier für die Rechtsfolgen im Internet zuständig ist sieht ebenfalls weitreichende Einschränkungen vor.

00:46:10: Die Seiten müssen so gestaltet sein dass sie nur Erwachsenen zugänglich gemacht werden Also in sogenannten geschlossenen Benutzergruppen weil der Erwerb und der Konsum durch Erwachsene ist nach wie vor natürlich möglich außer es sind Beschlagnahme oder Strafbare Inhalte.

00:46:30: Darüber hinaus haben sich unter dem Dach der FSM die großen deutschen Suchmaschinen zusammengeschlossen und im Rahmen einer Selbstverpflichtung vereinbart, dass Internetseiten welche von uns indiziert wurden dort nicht mehr angezeigt werden.

00:46:46: Das heißt diese Liste ist jetzt durchaus also nicht zu verstehen einfach als eine Empfehlung oder so sondern die ist schon gerade auch für bestimmte Anbieter tatsächlich verpflichtend?

00:46:56: Genau!

00:46:57: Wenn Sie mal so auf die letzten Jahre schauen, können sie da eine Entwicklung feststellen?

00:47:02: Also gibt es Veränderungen bei den Themen mit denen sich die Prüfstelle... so in den vergangenen Jahren beschäftigen musste.

00:47:11: oder spiegeln sich vielleicht auch irgendwie gesellschaftliche Debatten oder veränderte Sichtweisen in den Indizierungsverfahren wieder?

00:47:19: Ja, das durchaus.

00:47:20: Also ich bin jetzt selbst seit zehn Jahren in der Behörde tätig und begreifen in unseren Entscheidungen immer wieder die unterschiedlichen gesellschaftlichen Debatten auf und auch die Entwicklung der Medien.

00:47:33: Inwiefern wir sie dann berücksichtigen ist immer eine Frage des einen Fall ist.

00:47:37: Man muss sich das auch so vorstellen, dass die Spruchpraxis bei uns jetzt kein starkes Konstrukt ist.

00:47:43: Jedes Gremium ist auch noch mal anders besetzt und man kann vorher nie sagen in welche Richtung eine Entscheidung im Zwölgegremium ergehen wird.

00:47:52: Und die Spruchtpraxis entwickelt sich damit jeder Initierungsentscheidung fort und auch mit Rechtsprechungen, die dann hierzu der Gesetzgeber selber.

00:48:01: Der sieht es auch, deshalb ist eine Indizierung nicht für die Ewigkeit festgelegt, sondern der Gesetz Geber sieht hier einen Ablauf von twenty-fünf Jahren vor.

00:48:11: Also nach twenty fünf Jahren kann die Indizierungen ihre Wirkung verlieren.

00:48:16: außer unsere Gremien stellen fest dass einer Jugendgefährdung weiterhin vorhanden ist.

00:48:21: wenn man sich die letzten Jahre anschaut da haben wir Ich würde da mal zwei Tatbestände hervorheben, die sich entwickelt haben.

00:48:30: Da ist einmal Gefährdung der Demokratiefähigkeit, die Demokratiefeindlichkeit.

00:48:34: Ja.

00:48:35: Da haben wir einfach festgestellt, dass sich bestimmte Medien nicht mehr in die Tatbeständen, die wir schon etabliert haben wie Diskriminierung von Menschengruppen oder Anreizen zum Rassen hast, das sich da nicht mehr darunter... erfassen lässt, aber gleichzeitig wir sehen dass so die Grundpfeiler unserer Verfassung angegriffen werden durch das Medium und eine Demokratie Feindlichkeit propagiert wird.

00:49:04: So dass dieser Tatbestand entwickelt wurde.

00:49:06: Oder wir haben auch auf die verschiedenen Challenges, die in den sozialen Medienvorkommen reagiert und haben den Tatbestand des naheligen von selbstschädigendem Verhalten weiterentwickelt.

00:49:19: Und haben da eine Unterfallgruppe dieser Challenges subsumiert.

00:49:24: Und jetzt auch KI hat unsere Buchpraxis erreicht also Medien wie durch künstliche Intelligenz hergestellt werden Hier vor allen Dingen im kinderpornografischen Bereich, das gewinnt immer mehr an Bedeutung und da müssen wir natürlich auch unsere Spruchpraxis dementsprechend weiterentwickeln in dem Bereich.

00:49:45: Ja verstehe welche Möglichkeiten gibt es denn jetzt über solche richtungsweisenden Entscheidungen?

00:49:51: Und ja vielleicht auch so wichtige Entwicklungen im Jugendmedienschutz zu informieren?

00:49:57: Einmal unsere Fachzeitschrift, die alle drei Monate erscheint.

00:50:01: Dort findet sich auch immer ein Spruchbackpraxisbeitrag, wo wir über die wichtigsten Entscheidungen in der letzten Zeit berichten.

00:50:08: Wir sind jetzt auf gerade in der Konzeptphase für neue Formate, um unsere Arbeit in der Prüfstelle noch sichtbarer zu machen.

00:50:17: Und da hat auch einfach ein Wandel in den letzten Jahren stattgefunden dass wir unsere Arbeit einfach auch sichtbaren machen wollen.

00:50:25: und allgemein die Behörde Wir haben zusammenarbeiten mit der Akademie, der kulturellen Bildung beispielsweise oder die Zukunftswerkstatt in der Behörd Wo nochmal die Aspekte Schutzbefähigung und Teilhabe stattfinden und der Kinder- und Jugendmedienschutz mal vom Kind aus gedacht ist.

00:50:44: Und da werden verschiedene Perspektiven... vernetzt und auch die Blickwinkel noch mal gebeitet.

00:50:51: Und nochmal andere, also die Praxis, die Wissenschaft und selber Jugendliche und Eltern mit einbezogen.

00:50:57: Sie haben zu Anfang schon ein bisschen dazu gesagt, welche Rolle auch Beschwerdestellen wie jetzt zum Beispiel die ECO-Beschwerdestelle im Rahmen dieses Indizierungsverfahrens haben?

00:51:06: Vielleicht können sie zum Schluss nochmal so ein bisschen generell auf die Zusammenarbeit mit Beschwerde stellen wie ECO oder der FSM eingehen.

00:51:13: Welche Rolle spielen Hier auch gemeinsame Verfahren und Anträge, etwa auch im Bereich CSAM.

00:51:20: Und wie können Informationen über indizierte Inhalte die Arbeit der Beschwerdestellen unterstützen?

00:51:25: Ja also zunächst sind ECO-und auch FSMJ Antrags berechtigt, also können Anträge bei uns stellen.

00:51:32: Was auch regelmäßig passiert und dann auch Inizierungsverfahren initiieren.

00:51:37: Und dann gibt es eine freiwillige Vereinbarung der Stellen mit dem BKA zusammen mit dem gemeinsamen Ziel der bekämpfungssexualisierter Gewalt gegen Kinder- und Jugendliche um die Verbreitung kinderpornografischer Inhalte und die Stellen unterstützen sich dabei im Rahmen ihrer Möglichkeit.

00:51:55: Also da besteht eine enge und vertrauensvolle Zusammenarbeit, ein regelmäßiger Austausch über Entwicklungen in diesem Bereich ist für uns alle natürlich unglaublich wertvoll.

00:52:05: also wenn da der Hinweis kommt wir haben hier eine große Welle von bestimmten Material Da kommen demnächst die Anträger können wir schon wissen.

00:52:15: okay das Gesetz gibt uns auch die Möglichkeit bestimmte Verfahren zu priorisieren.

00:52:21: Da schauen wir natürlich, dass wir im Rahmen unserer Möglichkeiten gerade diese strafbaren Inhalte und diese hindapornografischen Inhalts natürlich möglichst schnell in unseren Reihagremium ergeben können.

00:52:33: Und das man sich da über Entwicklungen und Tendenzen besteht einfach auch ein regelmäßiger Austausch der ist erfolgt auch in Präsenz so dass man sich darauf im Laufenden hält.

00:52:44: Ja, vielen Dank.

00:52:44: Die Prüfstelle für gesetzlichen Jugendmedienschutz bei der Bundeszentrale Für Kinder und Jugendmedienschutz ist verantwortlich für die Prüfung und gegebenenfalls Indizierung jugendgefährdender Inhalte im Netz oder generell auch jugend gefährdener und kinder- und jugend gefärdender Medien.

00:53:01: wie ein solches Indizierungsverfahren abläuft.

00:53:04: Darüber habe ich mit der zuständigen Referatsleiterin Nilani Mörle gesprochen.

00:53:09: Herzlichen Dank Frau Mörler!

00:53:10: Vielen Dank für die Möglichkeit.

00:53:11: unsere Arbeit Ja, das stimmt.

00:53:15: Ja, dreißig Jahre Eco-Beschwerdestelle, nineteenhundertsechsundneunzig war wie gesagt die Idee.

00:53:22: Nutzerinnen und Nutzer brauchen eine Stelle an die sie sich bei illegalen Inhalten, die Sie im Netz finden wenden können.

00:53:28: Dreißig jahre später besteht diese Idee sehr lebendig weiter.

00:53:33: nur das Netzwerk dahinter ist viel größer geworden Und vielleicht ist genau dass die konstante Verantwortung im Netz liegt nicht bei einem einzigen Akteur.

00:53:44: Nutzer nicht nur bei der Plattform, sondern Technik, Regulierung, Plattformen, Beschwerdestellen und Behörden müssen am Ende zusammenspielen.

00:53:54: Ja genau!

00:53:55: Und deswegen nochmal großen Dank und herzlichen Glückwunsch an die Frauen- und Männer in der Beschwerde Stelle des ECO, dreißig Jahre lang viel gesehen und viel verhindert, dass andere das noch sehen.

00:54:08: Wir haben jede Menge Sachen in die Schau-Nauts gepackt.

00:54:10: da könnt ihr gerne nochmal nachschauen wenn euch das Thema noch eingehender interessiert.

00:54:13: auf jeden Fall erst mal vielen.

00:54:15: vielen Dank für euer Interesse und ich nehme mich nochmal ganz kurz mit ins Jahr nineteen.

00:54:18: sechsohn neunzig ja Diabolo eins war das beliebteste Computerspiel.

00:54:22: außerdem kam Pokemon Rot und Blau raus und Rundesfumme Neunzig war unser Betriebssystem.

00:54:27: damit haben wir gearbeitet und Ich weiß nicht wie es euch geht.

00:54:29: also ich war damals mit dem vierzehntausend Vierhundert am Modem im Internet.

00:54:33: Das klingt dann ungefähr so... Genau, ich wollte es auch gerade versuchen vorzumachen.

00:54:39: Und ich kannte wirklich mal einen der konnte die Kennung eines Modems pfeifen aber das bringt ihm ja heute auch nichts mehr.

00:54:43: auf jeden Fall vielen Dank fürs zuhören!

00:54:45: Ja, die Zeiten sind vorbei.

00:54:47: Vielen dank für's Zuhören.

00:54:48: Bis zum nächsten Mal Tschüss Sven!