KANN #ChatGPT AUCH SCHUMMELN?
Für einmal habe ich ChatGPT den Auftrag erteilt, einen Blogartikel für ein «Akademisches Lektorat» zu verfassen. Der Vorschlag des Chatbots, der die künstliche Intelligenz einsetzt, um mit Nutzern über textbasierte Nachrichten zu kommunizieren, hat mich vor allem aus einem Grund überrascht. Zwar nutzt er moderne maschinelle Lerntechnologie, um Antworten zu generieren, die natürlich klingen und für das Gespräch relevant sein sollen, doch nimmt sich das Ergebnis gleichwohl recht bescheiden aus. Der vom ChatGPT generierte Blogartikel lautet wie folgt:
»Die Bedeutung eines Akademischen Lektorats für Deinen Erfolg
In der heutigen Welt, in der schriftliche Kommunikation einen zentralen Platz einnimmt, ist es entscheidend, klare und präzise Texte zu verfassen. Vor allem im akademischen Umfeld, sei es für Seminararbeiten, Abschlussarbeiten oder wissenschaftliche Publikationen, spielt die Qualität des Geschriebenen eine entscheidende Rolle. Ein Akademisches Lektorat kann hierbei einen maßgeblichen Unterschied machen. Es ist mehr als nur ein Korrektorat; es ist eine Partnerschaft, die sicherstellt, dass Deine Ideen klar und wirkungsvoll präsentiert werden. Hier sind einige Gründe, warum ein Akademisches Lektorat von unschätzbarem Wert ist:
• Sprachliche Perfektion: Unsere Lektoren gewährleisten, dass Dein Text fehlerfrei und sprachlich ansprechend ist. Dadurch wird die Lesbarkeit verbessert und die Qualität Deiner Arbeit gesteigert.
• Strukturierte Argumentation: Ein erfahrener Lektor sorgt dafür, dass Deine Argumentation klar strukturiert ist. Dies ist besonders wichtig, um Leserinnen und Leser durch komplexe wissenschaftliche Gedankengänge zu führen.
• Stilistische Optimierung: Wir verleihen Deinem Text den nötigen Feinschliff. Von der Wahl der Worte bis zur Verfeinerung des Stils unterstützen wir Dich dabei, Deine Botschaft auf eine Weise zu präsentieren, die überzeugt.
• Vertraulichkeit und Professionalität: Unsere Dienstleistungen erfolgen stets vertraulich und professionell. Wir verstehen die Sensibilität Deiner Arbeit und behandeln sie mit höchstem Respekt.
Investiere in die Qualität Deiner schriftlichen Arbeiten und sichere Dir den Erfolg, den Du verdienst. Mit unserem Akademischen Lektorat stehen Dir professionelle Partner zur Seite, um Deine Texte auf das nächste Level zu heben.»
Als einbezogene Quellen werden am Schluss meine eigene Homepage, mein Blog sowie meine Pinterest-Seite genannt. Also alles Bezüge zu mir selber. Andere Quellen werden nicht gezeigt. Mit anderen Worten gibt mir ChatGPT im vorliegenden Fall eine Antwort, die ich bereits kenne, da ich sie selber produziert habe. Auf die Frage, warum ChatGPT nur Quellen nennt, die von mir selber stammen, lautet die Antwort:
«Es gibt keine Hinweise darauf, dass ChatGPT nur Quellen anzeigt, die vom Benutzer selbst erstellt wurden. Es könnte Verwirrung mit einer früheren falschen Meldung über ChatGPT entstanden sein. Eine Wissenschaftlerin aus Zürich hatte behauptet, den Chatbot dazu gebracht zu haben, falsche Quellen zu generieren, was jedoch als fragwürdige Darstellung betrachtet wurde.»
Bei der besagten Wissenschaftlerin aus Zürich handelt es sich um Teresa Kubacka, Data Scientist aus Zürich, die den Chatbot anhand ihres – sehr speziellen – PhD-Themas ausprobiert hat. Sie liess ChatGPT einen Essay über «Multiferroika aus der Physik» schreiben und fragte den Chatbot danach mit einem Trick nach den Quellen (dabei musste sie dem Chatbot sagen, er solle so tun, als sei er Wissenschaftler). Die Quellenangaben, die das Programm dann ausspuckte, sah sich Kubacka im Anschluss näher an und musste dabei feststellen, dass die Referenzen offenbar gar nicht existieren. Kubacka wiederholte das Experiment zu einem ähnlichen Thema, das allerdings noch etwas spezifischer war und musste erneut feststellen, dass «alles fake» sei, was ChatGPT an wissenschaftlichen Quellen ausspuckte. Sie verliess das Gespräch mit einem intensiven Gefühl der Unheimlichkeit, erlebte sie doch gerade ein Paralleluniversum plausibel klingender, nicht existierender Phänomene, selbstbewusst gestützt durch Zitate zu nicht existierender Forschung. In einem Tweed auf X schreibt die Datenwissenschaftlerin: «We will be fed with hallucinations indistinguishable from the truth, written without grammar mistakes, supported by hallucinated evidence, passing all first critical checks. With similar models available, how will we be able to distinguish a real pop-sci article from a fake one?»
Das Beispiel von Kubacka zeigt, dass es äusserst gefährlich wäre, sich blind auf die Informationen des Chatprogramms zu verlassen. Offenbar hat die KI nämlich auch das «Schummeln» gelernt. Zwar konzedieren die Entwickler von ChatGPT, dass der Chatbot «partiell fehlerhafte Informationen» generieren könne. Allerdings müsste man mit dieser Angabe im Umkehrschluss praktisch jede ausgespuckte Information anzweifeln und extra überprüfen, ausser natürlich sie stammt von einem selbst.
Christoph Frei, Akademisches Lektorat, CH-8032 Zürich
Bild:
Schweigen, schummeln & lügen