ChatGPT: Wie gut ist der weltbeste Chatbot wirklich?

View Summary

Raw Text

Foto: DER SPIEGEL

Euphorie um ChatGPT Wie gut ist der weltbeste Chatbot wirklich?

Patrick Beuth

, Ressort Netzwelt

Liebe Leserin, lieber Leser,

diese Software gilt als Meilenstein der kunstlichen Intelligenz: ChatGPT kann Computercode, Businessplane und Hausaufgaben fur die Schule schreiben. Das ist oft brillant – aber manchmal auch einfach Bullshit.

Artikel zum Horen • 6 Min

Zur Playlist

Anhoren

Kommentare offnen

Zur Merkliste hinzufugen

Link kopieren

E-Mail

Messenger

WhatsApp

Link kopieren

Vor knapp zweieinhalb Jahren habe ich an dieser Stelle vorhergesagt, dass Sie kunftig haufiger Artikel lesen werden, die ein Textgenerator erstellt hat. Der Anlass war eine wahre Flut an Textexperimenten, die Nutzerinnen und Nutzer von GPT-3 durchgefuhrt haben: Marchen, Rollenspiele, Tweets und sogar Computercode, alles von einer Software geschrieben. Zur Erinnerung: GPT-3 ist ein auf Machine Learning basierendes Sprachverarbeitungsmodell, dem man einzelne Worter, Satze oder ganze Absatze vorgeben kann, die es dann selbst erganzt. Ich schrieb damals von der »eloquentesten kunstlichen Intelligenz der Welt« . Die hat nun einen Nachfolger namens ChatGPT.

Wahrend die Fachwelt auf GPT-4 wartet, ist ChatGPT ein faszinierender Zwischenschritt. Die Entwickler von OpenAI haben dazu GPT-3 eine menschliche Feedback-Ebene verpasst, dem System sozusagen Nachhilfe gegeben. Das Prinzip heißt Reinforcement Learning from Human Feedback (RLHF)  . Herausgekommen ist ein einfach zu bedienender Chatbot, der den Entwicklern von OpenAI zufolge in der Lage ist, »Folgefragen zu beantworten, Fehler einzugestehen, falsche Annahmen anzuzweifeln und unangemessene Anfragen zuruckzuweisen«. Er schreibt Computercode, Businessplane und Anleitungen zum Ladendiebstahl  , unter anderem. Gut und zuganglich genug, um damit ernsthaft arbeiten zu konnen, auch wenn weder ich noch ChatGPT selbst Ladendiebstahl empfehlen mochten. Kolumnen schreiben kann der Bot auch, wenn er ein wenig Hilfe von Sascha Lobo bekommt .

Bild vergroßern

Sieht aus wie Text, ist aber nur das, was KI (in diesem Fall Stable Diffusion) dafur halt

Foto: Stable Diffusion

Der Chef von OpenAI berichtete diese Woche, dass sein Programm inzwischen mehr als eine Million Nutzer habe  . Unter ihnen herrschen Euphorie und Experimentierfreude. Aber auch heftige Kritik ist zu vernehmen: So sei ChatGPT zwar wirklich außerst eloquent, aber dass die Software inhaltlich oft falsch liege, sei nur auf den zweiten Blick erkennbar. Dafur gibt es einige Beispiele:

ChatGPT schreibt Code, der richtig aussieht, es aber so oft nicht ist, dass Stack Overflow einen Bann ausgesprochen hat  . Die Hilfeseite fur Programmierende will damit ihre Nutzerinnen und Nutzer schutzen.

ChatGPT schreibt Wikipedia-Eintrage uber Personen, die so viele korrekte Angaben enthalten, dass die ganzen inkorrekten  nur aufmerksamen Leserinnen und Lesern auffallen.

ChatGPT schreibt Hausaufgaben im Fach Geschichte, die auch dank Quellenangaben sehr uberzeugend klingen – aber am Ende nur statistische Muster reproduziert, die es in den Trainingsdaten beobachtet hat. Das fuhrt oft dazu, dass das Sprachprogramm volligen Blodsinn behauptet  .

Gelungene, beeindruckende Gegenbeispiele gibt es aber ebenso zuhauf. Die Kunst ist, unterscheiden zu konnen, was brillant ist und was Bullshit.

Eine KI, die Hausaufgaben schreibt

Naturlich kennen Schulerinnen und Schuler langst die Moglichkeiten der KI-Textgeneratoren und mussten in manchen Schulen schon Ehrlichkeitserklarungen abgeben  , dass ihre Texte nicht von einer Software verfasst wurden. Der Analyst Ben Thompson sieht mit der Technik aber dennoch keinesfalls das Ende der Hausaufgaben gekommen, auch wenn das bei Schulern und Schulerinnen moglicherweise fur Enttauschungen sorgen durfte. Thompson schlagt stattdessen eine neue Art Hausaufgaben vor, und ich finde seine Idee großartig:

»Stellt euch vor, eine Schule kauft eine KI-Software, die von allen Schulerinnen und Schulern genutzt werden soll«, schreibt er. »Die Lehrerinnen und Lehrer mussen nicht mehr darauf pochen, dass alle ihre Aufsatze selbst verfassen, vielmehr mussen sie darauf bestehen, dass die KI es ubernimmt. Allerdings wirft das System regelmaßig und absichtlich falsche Antworten aus. Die eigentliche Hausarbeit ist es, diese Antworten zu verifizieren – die Kinder lernen, Informationen zu prufen und zu editieren, statt sie nur nachzubeten.«

Mehr zum Thema

Text-zu-Bild-Generatoren: Wie kunstliche Intelligenz die Kreativwelt revolutioniert Von Patrick Beuth, Theresa Locker, Gerret von Nordheim und Carola Padtberg Wie kunstliche Intelligenz die Kreativwelt revolutioniert Wie kunstliche Intelligenz die Kreativwelt revolutioniert

Midjourney, Dall-E 2 und Stable Diffusion: Liebe KI, generiere mir eine coole Dreijahrige Ein Netzwelt-Newsletter von Theresa Locker Liebe KI, generiere mir eine coole Dreijahrige

Sinnvoll ware das nicht nur im Hinblick auf eine Zukunft, in der das ganze Netz voll ist von KI-generierten Inhalten. Denn erstens ist das keine Zukunft, sondern die Gegenwart. Die Kommerzialisierung der unausgereiften Technologie ist bereits da und damit auch das damit einhergehende Missbrauchspotenzial, wie ich zusammen mit meinen Kolleginnen und Kollegen in diesem ausfuhrlichen Artikel  beschrieben habe. Sinnvoll waren solche Ubungen auch ganz allgemein zur Ausbildung eines soliden Bullshit-Detektors, ob es nun um TikTok-Videos, Telegram-Kanale, Nachrichten-Websites oder Newsletter geht.

Unsere aktuellen Netzwelt-Lesetipps fur SPIEGEL.de

»Warum das Handy am Donnerstag um 11 Uhr Alarm schlagt«  (funf Leseminuten) Morgen ist bundesweiter »Warntag«. Theoretisch. Doch beim Probealarm des Notfallsystems werden viele Handynutzer außen vor bleiben. Torsten Kleinz erklart, warum das so ist.

»Ich habe diese Wut auch in mir«  (sieben Leseminuten) Mit Tier- und Naturvideos wurde Robert Marc Lehmann zum YouTube-Star. Ins Fernsehen will er nicht, das schranke ihn »massiv« ein. Matthias Kreienbrink hat mit ihm gesprochen.

»Wie sich ganz Frankfurt in Zukunft klimaschonend heizen ließe«  (vier Leseminuten) Die Abwarme aus Rechenzentren bleibt hierzulande fast immer ungenutzt, eine ungeheure Verschwendung. Warum daran auch das neue Energieeffizienzgesetz wenig andern wird und was Stadte wie Stockholm besser machen, erklart Max Hoppenstedt.

Fremdlinks: Drei Tipps aus anderen Medien

»Six-Word Sci-Fi: Stories Written by You«  (Englisch, bis zu 15 Minuten) Jeden Monat bittet »Wired« seine Leserinnen und Leser um Kurzgeschichten in sechs Wortern (oder Emojis), zu einem festgelegten Thema. Diese Ubersichtsseite zeigt alle Gewinnertexte seit Januar 2020.

»Der Jesus-Simulator lasst uns vom Glauben abfallen«  (drei Leseminuten) Heiliger Bimbam: Die Kollegen von »Golem.de« haben sich einen ersten Eindruck vom kommenden Spiel »I am Jesus Christ« gemacht.

»GMail: So konnt ihr unzahlige E-Mail-Adressen mit nur einem einzelnen Konto nutzen«  (drei Leseminuten) Nicht gerade breaking news , aber falls Sie schon immer wissen wollten, wie sie »mehrere Millionen Adressen« in einem GMail-Postfach vereinen konnen, hat »GoogleWatchBlog« drei Tipps fur Sie.

Ich wunsche Ihnen eine Woche ohne Bullshit,

Patrick Beuth

Diskutieren Sie mit

Feedback

Single Line Text

Foto: DER SPIEGEL. Euphorie um ChatGPT Wie gut ist der weltbeste Chatbot wirklich? Patrick Beuth. , Ressort Netzwelt. Liebe Leserin, lieber Leser, diese Software gilt als Meilenstein der kunstlichen Intelligenz: ChatGPT kann Computercode, Businessplane und Hausaufgaben fur die Schule schreiben. Das ist oft brillant – aber manchmal auch einfach Bullshit. Artikel zum Horen • 6 Min. Zur Playlist. Anhoren. Kommentare offnen. Zur Merkliste hinzufugen. Link kopieren. E-Mail. Messenger. WhatsApp. Link kopieren. Vor knapp zweieinhalb Jahren habe ich an dieser Stelle vorhergesagt, dass Sie kunftig haufiger Artikel lesen werden, die ein Textgenerator erstellt hat. Der Anlass war eine wahre Flut an Textexperimenten, die Nutzerinnen und Nutzer von GPT-3 durchgefuhrt haben: Marchen, Rollenspiele, Tweets und sogar Computercode, alles von einer Software geschrieben. Zur Erinnerung: GPT-3 ist ein auf Machine Learning basierendes Sprachverarbeitungsmodell, dem man einzelne Worter, Satze oder ganze Absatze vorgeben kann, die es dann selbst erganzt. Ich schrieb damals von der »eloquentesten kunstlichen Intelligenz der Welt« . Die hat nun einen Nachfolger namens ChatGPT. Wahrend die Fachwelt auf GPT-4 wartet, ist ChatGPT ein faszinierender Zwischenschritt. Die Entwickler von OpenAI haben dazu GPT-3 eine menschliche Feedback-Ebene verpasst, dem System sozusagen Nachhilfe gegeben. Das Prinzip heißt Reinforcement Learning from Human Feedback (RLHF)  . Herausgekommen ist ein einfach zu bedienender Chatbot, der den Entwicklern von OpenAI zufolge in der Lage ist, »Folgefragen zu beantworten, Fehler einzugestehen, falsche Annahmen anzuzweifeln und unangemessene Anfragen zuruckzuweisen«. Er schreibt Computercode, Businessplane und Anleitungen zum Ladendiebstahl  , unter anderem. Gut und zuganglich genug, um damit ernsthaft arbeiten zu konnen, auch wenn weder ich noch ChatGPT selbst Ladendiebstahl empfehlen mochten. Kolumnen schreiben kann der Bot auch, wenn er ein wenig Hilfe von Sascha Lobo bekommt . Bild vergroßern. Sieht aus wie Text, ist aber nur das, was KI (in diesem Fall Stable Diffusion) dafur halt. Foto: Stable Diffusion. Der Chef von OpenAI berichtete diese Woche, dass sein Programm inzwischen mehr als eine Million Nutzer habe  . Unter ihnen herrschen Euphorie und Experimentierfreude. Aber auch heftige Kritik ist zu vernehmen: So sei ChatGPT zwar wirklich außerst eloquent, aber dass die Software inhaltlich oft falsch liege, sei nur auf den zweiten Blick erkennbar. Dafur gibt es einige Beispiele: ChatGPT schreibt Code, der richtig aussieht, es aber so oft nicht ist, dass Stack Overflow einen Bann ausgesprochen hat  . Die Hilfeseite fur Programmierende will damit ihre Nutzerinnen und Nutzer schutzen. ChatGPT schreibt Wikipedia-Eintrage uber Personen, die so viele korrekte Angaben enthalten, dass die ganzen inkorrekten  nur aufmerksamen Leserinnen und Lesern auffallen. ChatGPT schreibt Hausaufgaben im Fach Geschichte, die auch dank Quellenangaben sehr uberzeugend klingen – aber am Ende nur statistische Muster reproduziert, die es in den Trainingsdaten beobachtet hat. Das fuhrt oft dazu, dass das Sprachprogramm volligen Blodsinn behauptet  . Gelungene, beeindruckende Gegenbeispiele gibt es aber ebenso zuhauf. Die Kunst ist, unterscheiden zu konnen, was brillant ist und was Bullshit. Eine KI, die Hausaufgaben schreibt. Naturlich kennen Schulerinnen und Schuler langst die Moglichkeiten der KI-Textgeneratoren und mussten in manchen Schulen schon Ehrlichkeitserklarungen abgeben  , dass ihre Texte nicht von einer Software verfasst wurden. Der Analyst Ben Thompson sieht mit der Technik aber dennoch keinesfalls das Ende der Hausaufgaben gekommen, auch wenn das bei Schulern und Schulerinnen moglicherweise fur Enttauschungen sorgen durfte. Thompson schlagt stattdessen eine neue Art Hausaufgaben vor, und ich finde seine Idee großartig: »Stellt euch vor, eine Schule kauft eine KI-Software, die von allen Schulerinnen und Schulern genutzt werden soll«, schreibt er. »Die Lehrerinnen und Lehrer mussen nicht mehr darauf pochen, dass alle ihre Aufsatze selbst verfassen, vielmehr mussen sie darauf bestehen, dass die KI es ubernimmt. Allerdings wirft das System regelmaßig und absichtlich falsche Antworten aus. Die eigentliche Hausarbeit ist es, diese Antworten zu verifizieren – die Kinder lernen, Informationen zu prufen und zu editieren, statt sie nur nachzubeten.« Mehr zum Thema. Text-zu-Bild-Generatoren: Wie kunstliche Intelligenz die Kreativwelt revolutioniert Von Patrick Beuth, Theresa Locker, Gerret von Nordheim und Carola Padtberg Wie kunstliche Intelligenz die Kreativwelt revolutioniert Wie kunstliche Intelligenz die Kreativwelt revolutioniert. Midjourney, Dall-E 2 und Stable Diffusion: Liebe KI, generiere mir eine coole Dreijahrige Ein Netzwelt-Newsletter von Theresa Locker Liebe KI, generiere mir eine coole Dreijahrige. Sinnvoll ware das nicht nur im Hinblick auf eine Zukunft, in der das ganze Netz voll ist von KI-generierten Inhalten. Denn erstens ist das keine Zukunft, sondern die Gegenwart. Die Kommerzialisierung der unausgereiften Technologie ist bereits da und damit auch das damit einhergehende Missbrauchspotenzial, wie ich zusammen mit meinen Kolleginnen und Kollegen in diesem ausfuhrlichen Artikel  beschrieben habe. Sinnvoll waren solche Ubungen auch ganz allgemein zur Ausbildung eines soliden Bullshit-Detektors, ob es nun um TikTok-Videos, Telegram-Kanale, Nachrichten-Websites oder Newsletter geht. Unsere aktuellen Netzwelt-Lesetipps fur SPIEGEL.de. »Warum das Handy am Donnerstag um 11 Uhr Alarm schlagt«  (funf Leseminuten) Morgen ist bundesweiter »Warntag«. Theoretisch. Doch beim Probealarm des Notfallsystems werden viele Handynutzer außen vor bleiben. Torsten Kleinz erklart, warum das so ist. »Ich habe diese Wut auch in mir«  (sieben Leseminuten) Mit Tier- und Naturvideos wurde Robert Marc Lehmann zum YouTube-Star. Ins Fernsehen will er nicht, das schranke ihn »massiv« ein. Matthias Kreienbrink hat mit ihm gesprochen. »Wie sich ganz Frankfurt in Zukunft klimaschonend heizen ließe«  (vier Leseminuten) Die Abwarme aus Rechenzentren bleibt hierzulande fast immer ungenutzt, eine ungeheure Verschwendung. Warum daran auch das neue Energieeffizienzgesetz wenig andern wird und was Stadte wie Stockholm besser machen, erklart Max Hoppenstedt. Fremdlinks: Drei Tipps aus anderen Medien. »Six-Word Sci-Fi: Stories Written by You«  (Englisch, bis zu 15 Minuten) Jeden Monat bittet »Wired« seine Leserinnen und Leser um Kurzgeschichten in sechs Wortern (oder Emojis), zu einem festgelegten Thema. Diese Ubersichtsseite zeigt alle Gewinnertexte seit Januar 2020. »Der Jesus-Simulator lasst uns vom Glauben abfallen«  (drei Leseminuten) Heiliger Bimbam: Die Kollegen von »Golem.de« haben sich einen ersten Eindruck vom kommenden Spiel »I am Jesus Christ« gemacht. »GMail: So konnt ihr unzahlige E-Mail-Adressen mit nur einem einzelnen Konto nutzen«  (drei Leseminuten) Nicht gerade breaking news , aber falls Sie schon immer wissen wollten, wie sie »mehrere Millionen Adressen« in einem GMail-Postfach vereinen konnen, hat »GoogleWatchBlog« drei Tipps fur Sie. Ich wunsche Ihnen eine Woche ohne Bullshit, Patrick Beuth. Diskutieren Sie mit. Feedback.