📖 Inhaltsverzeichnis
Was sind KI-generierte Inhalte?
KI-generierte Inhalte, auch bekannt als synthetische Inhalte, sind alle Arten von Medien, die mithilfe von Algorithmen der künstlichen Intelligenz erstellt wurden. Dazu können Texte, Bilder, Audio und sogar KI-Videos gehören. KI-generierte Inhalte haben zwar viele potenzielle Einsatzmöglichkeiten, dennoch ist es wichtig diese auch entsprechend Bewertungen zu können.
Und genau darum geht es in diesem Artikel. Der Hype über GPT-3 und gerade auch ChatGPT hat in den letzten Wochen gerade meine LinkedIn Bubble beherrscht und auch ich hab mir einige Anwendungsfälle angeschaut um z.B. GPT-3 mit Zapier zu verbinden, es direkt in Google Sheets zu integrieren oder einen eigenen Slack-Bot mit GPT-3 zu bauen.
Diese hat mir aber auch gezeigt, wie einfach es ist KI-Texte massenhaft zu erstellen und das Internet quasi voll zumüllen. Aus diesem Grund schaue ich mir jetzt einmal an, welche Tools KI-Texte erkennen können und wie echte Tests abschneiden.
Warum eigentlich KI-Texte erkennen?
Es gibt mehrere Gründe, warum es wichtig ist, KI-generierte Inhalte erkennen zu können. Drei davon sind meiner Meinung nach am offensichtlichsten. Falschmeldungen (Fake News), die Bewertung von Quellen (samt Qualität) und der Nachweis über erbrachte Leistungen (gerade im Lehrwesen).
Durch die enorme Verbreitung von Tools wie z.B. ChatGPT (welches in nur 5 Tagen eine Millionen User erreichte – weitere ChatGPT Fakten), wird es zudem auch viel einfacher beliebige Mengen von Text zu sehr günstigen Preisen zu erzeugen.
Fake News
Eines der Hauptprobleme ist sicherlich die Verbreitung von Fake News, die sich leicht über soziale Medien und andere Online-Plattformen verbreiten lassen. Egal ob Text, Bilder oder Video. Je einfacher und je schneller sich Inhalte erstellen lassen, desto eher werden damit auch falsche Informationen verbreitet. Auch wenn ChatGPT ja aus quasi allen Texten des Internets seine Informationen zieht, so ist es gleichzeitig aber auch ein starkes Werkzeug, um Inhalte aus Texten zu verarbeiten, welche du in das Tool einspielst.
Bewertung von Quellen
Gerade wenn es um Informationen und auch Meinung geht, ist es mir persönlich wichtig zu wissen, ob Texte ggf. mit KI geschrieben wurden oder ob die Quelle vielleicht gar nicht so wirklich vertrauenswürdig ist. Wenn fachliche Inhalte, die ich tagtäglich konsumiere, nur von Maschinen geschrieben werden, würde ich die Qualität anders bewerten.
Nachweis über erbrachte Leistung
Sicherlich ein riesiges Thema, gerade auch für Lehrkräfte. Mit der Möglichkeit sehr schnell große Mengen Text zu generieren, wie soll man dann noch wissen ob der Text wirklich geschrieben wurde oder sich mit dem Thema überhaupt beschäftigt wurde? Sicherlich ein riesiges Thema und die ersten Verbote von ChatGPT an Schule zeigen, dass wir hier auf eine knifflige Situation zulaufen.
Können ChatGPT Texte erkannt werden?
Es kommt drauf an. 😂Viele der hier getesteten Tools erkennen englische Texte sehr zuverlässig. Bei den deutschen Inhalten wird oft der Mensch als Urheber bewertet. Viele der kostenlosen Tools filtern KI-Inhalt recht gut raus. Anbieter wie Google werden hier zwar noch sehr viel umfangreicher arbeiten, haben aber auch definitiv ihe Schwierigkeit diese Texte zuverlässig zu erkennen und zu bewerten. In diesem Artikel möchte ich zeigen, welche Tools es aktuell am Markt gibt und welche Tools meine Texte erkennen.
Eine ähnliche Übersicht zu dem Thema gibt es übrigens von Kai Spriestersbach auf seiner Seite www.afaik.de.
11 verschiedene Tools zur Erkennung von KI-Texten
Um mir selbst (und dir) einen Blick zu verschaffen, habe ich deshalb keine Kosten und Mühen gescheut und mir acht verschiedene Tools zur Erkennung von KI-Texte angeschaut und mit zwei Beispielen getestet.
Welche Texte habe ich getestet?
Um selbst einmal herauszufinden, wie gut die Tools zur Erkennung von KI-Texten funktionieren, habe ich jeweils einen deutschen und englischen Text mit einer Definition von SEO mit ChatGPT erstellen lassen und diesen ohne Änderungen in die unten stehende Tools eingefügt. Die Texte kannst du dir im Screenshot anschauen.
Natürlich passiert es selten, dass Texte ganz genau aus ChatGPT übernommen werden, für den Test habe ich es dennoch mal ausprobiert.
Kostenloser Tool-Newsletter
Mein regelmäßiger (und natürlich kostenloser) Newsletter versorgt dich regelmäßig mit neuen Tool-Vorstellungen und relevanten Neuigkeiten und Content–Empfehlungen für Marketer.
Bereits über 2.300 Abonnent*innen erhalten regelmäßig neue Tool-Vorstellungen und Updates!
AI Text Classifier von OpenAI
Irgendwie war dies zu erwarten, dennoch super spannend. OpenAI bietet jetzt selbst ein Tool an, um KI-Texte zu erkennen und nimmt sich Problemen gerade im Education-Bereich an. Hierzu gibt es sogar eine eigene Info-Seite.
Das neue „Tool“ von OpenAI hilft nun dabei, Texte auf KI-Herkunft zu klassifizieren und zu zeigen, welche Texte von der KI oder von Menschen geschrieben wurden. Jedoch ist das Tool noch nicht verlässlich. So wurden in einem Testszenario mit englischen Texten nur 26% der KI-Texte erkannt und 9% falsch erkannt. Also ist hier noch viel Luft nach oben.
Textergebnis
In meinen ersten Tests wurden alle KI-Texte von mir erkannt und selbst Texte bei denen diverse Dinge geändert wurden, hatten noch einen Bruchteil von AI-Erkennung. Aber auch komplett selbstgeschriebene Texte hatten angeblich KI-Anteil. Zudem ist die Erkennungsrate für nicht-englische Texte noch (nach eigenen Aussagen) sehr schlecht.
GPTRadar - überraschend gut
GPTRadar ist das neuste Tool aus der Reihe und erst seit ein paar Tagen auf dem Markt (Stand 15.01.2023). Und auch hier ist die Oberfläche zur Erkennung von KI Texten sehr einfach gehalten. Text einfügen und das Ergebnis wird dir innerhalb von wenigen Sekunden angezeigt.
Die ersten 5 Tests sind kostenlos. Danach zahlst du 2 Cent pro Credit und kannst mit einem Credit ca. 125 Wörter überprüfen. Für 500 Wörter zahlst du also gerade einmal 8 Cent.
Textergebnis
Und hier war ich tatsächlich sehr überrascht. Beide von mir bereitgestellte Texte (Deutsch und English) wurden erfolgreich als KI-Texte erkannt. Zum Vergleich habe ich eigene Texte getestet und diese wurden erfolgreich als menschliche Texte erkannt. Bisher also das für meine Ergebnisse zuverlässigste Tool am Markt.
Draft & Goal - ChatGPT und GPT Content Detector
Auch dieses Tool funktioniert erfreulicherweise ohne Anmeldung und aktuell auch ohne Kosten. Füge einfach mindestens 200 Zeichen in den Textbereich ein und klicke auf „Analyze“. In einigen Sekunden bekommst du eine Auswertung auf einer Skala von 0-100 ob der Text von einer KI verfasst wurde oder nicht.
Aktuell funktioniert das Tool jedoch nur auf Englisch, jedoch soll Französisch in Kürze ebenfalls hinzugefügt werden.
Testergebnis
Auch hier habe ich beide Texte durch das Tool testen lassen um zu schauen ob die KI-Texte erkannt werden.
Der englische Text wurde laut Tool zu 100% von einer KI geschrieben. Somit hat das Tool hier den Test bestanden. Auch einzelne Wortänderungen scheinen das Tool nicht zu verwirren und das Ergebnis bleibt in der Regel bei 90%+.
Da dieses Tool keine deutschen Texte erkennen kann, fällt hier das Ergebnis natürlich nicht gut aus. Der deutsche Text wurde mit sehr hoher Wahrscheinlichkeit von einem Menschen geschrieben. Dies ändert sich, vielleicht sollte dieses Tool auch an einer Erkennung für deutsche Texte arbeiten.
Der Anbieter Copyleaks bietet vorallem Plagiaktserkennung von Text und Code an und ist schon länger auf dem Markt. Natürlich liegt hier die Erkennung von KI-Content nahe und darum gibt es hier nicht nur die Möglichkeit Texte kostenlos im Interface zu testen, sondern auch eine API, welche KI-Content erkennen soll.
Anders als viele andere Anbieter unterstützt das Tool aktuell Englisch, Spanisch, Deutsch, Französisch und Portugiesisch, weitere Sprachen sind in Arbeit.
Wie gut die Erkennung funktioniert, habe ich mit meinen beiden Texten getestet.
Testergebnis
In meinem Test wurden beide Texte zuverlässig erkannt und mit hoher Wahrscheinlichkeit als KI-Texte identifiziert. Auch die Veränderung durch Tools wie DeepL Write änderten nichts an der Einschätzung.
AI Content Detector von Writer
Das kostenlose Tool von Writer.com analysiert deinen Text kostenlos und liefert dir anschließend eine Zahl von 0 bis 100 %, wie wahrscheinlich der von dir eingegebene Text von Menschen verfasst wurde. Das Tool funktioniert sehr einfach und komplett ohne Anmeldung.
Über den genauen Ansatz der Technologie hinter der Erkennung konnte ich leider keine Informationen finden.
Testergebnis
Beide Test-Texte habe ich in das Tool eingefügt und die Ergebnisse berechnen lassen.
Der englische Text ist nur zu 36 % von Menschen geschrieben und ist somit recht klar erkennbar.
Der deutsche Text hingegen ist laut diesem Tool zu 100 % von Menschen geschrieben. Es scheint also, als wären die meisten Tools hier nur auf englische Texte fokussiert.
GPT-2 Output Detector Demo
Der recht bekannte GPT-2 Output Detector ist zwar für GPT-2 erstellt worden, tut aber auch bei GPT-3 und ChatGPT seine Dienste. Auch hier benötigst du keine Anmeldung und kannst den Text einfach kostenlos einfügen.
Laut GitHub ist dieses Tool sogar selbst von OpenAI veröffentlicht worden (der Firma hinter GPT-3 und ChatGPT). Wenn du dich mit der Technologie mehr beschäftigen willst, findest du auf der entsprechenden github Seite weitere Informationen.
Textergebnis
Auch hier habe ich beide Texte getestet und ähnliche Ergebnisse erhalten.
Der englische Text wurde zu 96.42 % als Fake (und somit KI-Text) erkannt und ist somit sehr eindeutig.
Der deutsche Text wurde hingegen nur zu 0.02% als Fake identifiziert und somit als von Menschen geschriebener Text.
GLTR (Giant Language model Test Room)
Das nächste Tool, nennt sich Giant Language model Test Room und sieht auf den ersten Blick erstmal etwas komplizierter aus, liefert aber dennoch interessante Ergebnisse und ist recht einfach zu verstehen.
Das Tool wurde von Hendrik Strobelt, Sebastian Gerhmann und Alexander Rush aus dem MIT-IBM Watson AI Lab und Harvard NLP entwickelt.
Wie lese ich die Ergebnisse?
Du kannst auch hier Text in das Tool einfügen und eine visuelle Darstellung der Analyse sowie verschiedene Histogramme mit Statistiken über den Text anzeigen lassen. Um mehr über GLTR und seine Funktionsweise zu erfahren, besuche einfach die genaue Erklärung.
Wenn ein Wort zum grün hervorgehoben ist, befindet es sich in den Top 10 der am wahrscheinlichsten vorhergesagten Wörter, basierend auf dem Wort davor. Eine gelbe Markierung zeigt an, dass es zu den 100 am häufigsten vorhergesagten Wörtern gehört, eine rote Markierung zu den 1.000 am häufigsten vorhergesagten Wörtern und der Rest ist lila markiert (noch unwahrscheinlicher, dass es vorhergesagt wird).
Der Anteil der roten und lila Wörter (unwahrscheinliche Vorhersagen) steigt, wenn der Text von einem Menschen geschrieben wurde. Wenn viele grüne und gelbe Wörter hervorgehoben sind, kann das ein Hinweis darauf sein, dass der Text viele Wörter enthält, die auf der Grundlage des Sprachmodells vorhergesagt wurden (was darauf hindeutet, dass der Text von einer KI geschrieben worden sein könnte).
Vereinfacht: Je mehr grün, desto eher ist der Text von einer KI geschrieben.
Aber Achtung: Hier gibt es keine Skala oder Bewertung. Viel grüner Text heißt somit nicht unbedingt, dass es auch ein KI-Text ist, sondern lediglich, dass die folgenden Wörter sehr wahrscheinlich sind. Je nach Thema und Text kann dies natürlich auch bei menschlichen Texten vorkommen.
Testergebnis
Der englische Text strahlte gerade zu von grünen Wörtern und ist somit scheinbar ein KI-Text. Viele der Wörter sind also in den Top10 der vorhergesagten Wörter, hiermit hat das Tool schon einmal einen guten Eindruck geliefert.
Beim deutschen Text sieht es hingegen schon etwas besser aus, hier werden zwar auch viele grüne Flecken sichtbar, jedoch bei weitem nicht so durchgängig wie bei der englischen Version.
Originality.Ai
Das Tool Originality.ai ist der erste kostenpflichtige Anbieter in dieser Liste und liefert die KI-Texterkennung mit einem eigenen Dashboard, der Möglichkeit im Team zu arbeiten und eine Übersicht all deiner bisherigen Analysen.
Die Kosten sind dabei überschaubar. Mit dem Gutscheincode BeOriginal bekommst du 50% auf deiner ersten Bestellung und kannst somit für $10 ganze 200.000 Wörter analysieren.
Neu: Website-Scan
Neben einzelnen Texten kann das Tool nun auch ganze Webseiten (bis zu 1.000) Seiten nach KI-generierten Inhalten durchsuchen und auswerten. Hierzu musst du lediglich die URL eingeben und das Tool legt los. Gerade wenn du viele Texte auf einmal testen willst, ist dies eine ziemlich hilfreiche Funktion.
Textergebnis
Und auch hier zeigt sich ein ähnliches Bild wie bei vielen anderen Anbietern. Der englische Text wird recht sicher mit 99% als KI-Text erkannt. Aber auch der deutsche Text erweckt mit 3% KI-Anteil eine gewisse Skepsis. Schön zu sehen, dass hier auch der deutsche Text nicht so einfach durchgeht.
Crossplag.com AI Content Detector
Der Anbieter Crossplag kümmert sich vor allem um die Erkennung von Plagiarismus, fügt aber jetzt auch noch die Erkennung von KI-Content hinzu, um beide Bereiche zu vereinen.
Bis zu 1.000 Wörter kannst du kostenlos testen, danach gibt es verschiedene Preismodelle, um mehr Inhalte zu überprüfen.
Textergebnis
Und auch hier wird der englische Text zuverlässig zu 100% als KI-Text erkannt. Der deutsche Text hingegen scheint gerade einmal zu 1% ein KI-Text zu sein und geht hier in der Bewertung sehr einfach durch.
Content at Scale AI Content Detection
Ähnlich wie vorherige Tools bekommst du hier auch ein einfaches Web-Interface, um Texte einzufügen und zu testen, ob diese (womöglich) von einer KI geschrieben wurden.
Auch hier benötigst du keine Anmeldung und kannst das Tool kostenlos nutzen. Der Anbieter verkauft jedoch Blog-Artikel, welche menschlich sein sollen. Daher wäre ich hier persönlich etwas skeptisch, ob KI-Content nicht sehr schnell erkennt wird.
Textergebnis
Hier ist der Unterschied zwischen dem deutschen und englischen Text sogar noch krasser. Der deutsche Text wird zu 100% als menschlich erkannt, wohingegen der englische Text zu 0% menschlich sein soll.
GPTZero
GPTZero wurde in den letzten Tagen sehr stark auf Twitter verbreitet und ist ein Projekt von einem einzigen Studenten. Leider ist die „originale“ Version schwer zu erreichen (aufgrund der vielen Anfragen). Es wird aber einem echten Produkt gearbeitet (siehe Webseite).
Nach der Eingabe kann es etwas dauern bis du Ergebnisse bekommst, dann gibt es jedoch detaillierte Auswertungen über den Aufbau deiner Texte, samt Komplexität und die Menge an zufälligen Wörtern.
Textergebnis
Der englische Text wurde relativ klar als KI-Text erkannt, gerade wegen vieler berechenbaren Worte und einer „Perplexity“ von nur 60.
Unser deutscher Text bekommt eine Perplexity von 302 (im Vergleich zu 60) und ist für das Tool somit ein Text, der wahrscheinlich von Menschen geschrieben wurde (wurde er aber leider nicht).
Detect GPT für Google Chrome
Das kostenlose Chrome Plugin Detect GPT versucht KI-Texte auf Webseiten direkt in deinem Browser zu erkennen. Leider ist die API sehr oft überlastet, sodass ich hier gerade keinen Text durchführen konnte.
Zudem gibt es noch die Plugins Percent Human und GPT-3 Detector. Beide haben in Tests leider keine Ergebnisse geliefert und sind vielleicht einfach überlastet.
Textergebnis
Da leider keins der entsprechenden Browser-Plugins zuverlässig funktionierte, werde ich Ergebnisse hier bei Gelegenheit nachpflegen.
KI-Texte erkennen - mein Fazit
Der sehr einfache Test von verschiedenen Tools mit lediglich zwei verschiedenen Texten zeigt meiner Meinung nach zwei Dinge. Zuerst einmal zeigt es mir, dass die meisten Tools wohl den Fokus auf englischen Texten haben und daher dem deutschen Text eine sehr hohe Menschlichkeit zusprechen.
Gleichzeitig zeigt es mir aber auch, dass teilweise kostenlose und „alte“ Tools schon in der Lage sind, KI-Texte zu erkennen. Unternehmen, wie Google sind da sicherlich schon eine ganze Ecke weiter und haben sicherlich schon Mechanismen im Einsatz um solche Texte einzuschätzen.
KI Texte - Ja oder nein?
Dinge wie ChatGPT oder GPT-3 werden die Art und Weise wie wir Content erstellen und erfassen, meiner Meinung nach in den nächsten Jahren maßgeblich verändern. Wie es genau aussieht, weiß aber noch keiner. Daher führt meiner Meinung nach fast kein Weg daran vorbei, sich mit KI-Tools zumindest auseinanderzusetzen. Die meisten Marketer nutzen sowieso schon Tools, die irgendwas mit KI machen 😉
Ich bin großer Fan und begeisterter Nutzer von KI-Tools in vielen Bereichen. Dir sollte aber auch verdammt klar sein, dass gerade viele User solche „Abkürzungen“ nehmen und Inhalte erstellen. Dies wird jetzt eine Weile so weitergehen und Anbieter wie Google werden darauf reagieren.
Dennoch eigenen sich KI-Tools aber hervorragend, um einfache Aufgaben zu automatisieren, zur Ideenfindung oder um deinen Content noch schneller, noch besser zu machen (weil du deine persönliche Erfahrung und Note sowieso hineinbringst).
Kostenloser Tool-Newsletter
Mein regelmäßiger (und natürlich kostenloser) Newsletter versorgt dich regelmäßig mit neuen Tool-Vorstellungen und relevanten Neuigkeiten und Content–Empfehlungen für Marketer.
Bereits über 2.300 Abonnent*innen erhalten regelmäßig neue Tool-Vorstellungen und Updates!
