Drei Probleme, die Generative KI dringend lösen sollte

Als OpenAI im November 2022 das Large-Language-Modell ChatGPT vorstellte, ahnte kaum jemand, welche enormen Auswirkungen dies haben würde: Nie zuvor war die Bezeichnung „Game Changer“ für eine technologische Entwicklung berechtigter. Längst wissen wir, dass es nicht bei einem Hype geblieben ist. Doch es gibt auch noch Probleme, die Generative KI wie ChatGPT & Co. dringend lösen sollte.

In den vergangenen neun Monaten ist die Zahl der KI-Tools geradezu explodiert. ChatGPT ist nicht nur selbst außerordentlich erfolgreich, sondern hat auch als Türöffner für eine neue Produktpalette gewirkt, obwohl es viele KI-Tools schon vorher gab. Allein die Zahl der Websites mit einer .ai-Top-Level-Domain hat sich seit dem Start von ChatGPT fast verdoppelt - Tendenz stark steigend. 

Kleine Anekdote am Rande: .ai steht nicht etwa für Artificial Intelligence, sondern ist die länderspezifische Top-Level-Domain des britischen Überseegebiets Anguilla. Auf 13.572 Einwohner (Wikipedia, Stand 2011) kommen 241.415 Websites (Whois Search, Stand 07.2023).

Viele KI-Tools haben bereits mehrere Entwicklungsstufen durchlaufen und sind dadurch vielseitiger geworden. So hat ChatGPT mit dem Upgrade des Sprachmodells auf GPT-4 (Generative Pre-Trained Transformer 4) einen großen Sprung gemacht. Wurde GPT-3 noch mit 175 Milliarden Parametern trainiert, sind es beim Nachfolger bereits 100 Billionen.

Darüber hinaus können Nutzerinnen und Nutzer der kostenpflichtigen ChatGPT-Plus-Version seit einiger Zeit zahlreiche Plug-ins nutzen, um den Funktionsumfang nach eigenen Bedürfnissen zu erweitern. Spätestens damit hat sich der wohl größte Kritikpunkt aus der Startphase erledigt, denn über diese Plug-ins hat ChatGPT zusätzlich Zugriff auf aktuelle Informationen aus dem Web.

Wirklich laute Kritik ist seither ausgeblieben. Dennoch gibt es einige Kritikpunkte, über die wir nachdenken sollten.

Problem 1: KI hat einen großen CO2-Fußabdruck

KI-Anwendungen haben den Durchbruch auch deshalb geschafft, weil sie auf speziellen Großrechnern laufen. Diese nutzen im Gegensatz zu herkömmlichen Großrechnern statt der klassischen Central Processing Units (CPUs) vor allem Graphical Processing Units (GPUs). Der Vorteil ist einfach erklärt: Eine GPU, die in jedem herkömmlichen Computer zum Einsatz kommt, kann sehr viele Prozesse nahezu parallel ausführen. Sie sind also, laienhaft ausgedrückt, Multitasking-Talente.

Würden KI-Anwendungen stattdessen auf CPU-basierten Großrechnern laufen, wäre das Antwortverhalten kaum ausreichend. Dabei sind es gerade die Echtzeitantworten, die einen großen Teil der Begeisterung für KI-Werkzeuge ausmachen. Noch energieintensiver ist allerdings das Training der LLMs. Es gibt zwar keine offiziellen Zahlen über den Energieverbrauch des GPT-4-Modells, aber Schätzungen gehen von mehr als 1.200 Megawattstunden aus. Zur Einordnung: Damit könnten etwa 120 Haushalte ein Jahr lang versorgt werden.

Selbst bei einem hohen Anteil erneuerbarer Energien dürfte der CO2-Fußabdruck beträchtlich sein. Die Rechenzentren stehen in den USA und werden teilweise mit erneuerbaren Energien betrieben. Allerdings beträgt deren Anteil an der gesamten Stromerzeugung in den USA nur 21,5 Prozent (Stand 2022). Zudem belasten die vielen GPUs die CO2-Bilanz negativ, da ihre Herstellung energieintensiv ist.

Der hohe Energieverbrauch bringt ein weiteres Problem mit sich.

Problem 2: KI verbraucht viel Wasser

Geht man davon aus, dass die weltweite Umstellung der Stromerzeugung auf erneuerbare Energien weiter voranschreitet, dürfte sich die CO2-Problematik in den nächsten Jahren entschärfen. Das gilt allerdings nicht für ein Folgeproblem: Hohe Rechenleistung verbraucht nicht nur viel Strom, sondern auch viel Wasser für die Kühlung der Server.

Wissenschaftler der Universitäten California Riverside und Texas Arlington haben in einer Studie errechnet, dass ein durchschnittlicher Chat mit ChatGPT, bei dem zwischen 25 und 50 Fragen beantwortet werden, einen halben Liter Wasser verdunsten lässt. Das klingt zugegebenermaßen nicht nach viel, aber bei geschätzten 100+ Millionen Nutzern und 1,6 Billionen monatlichen Seitenaufrufen summiert sich der Kühlwasserverbrauch enorm.

Und auch hier spielen die massenhaft eingesetzten GPU-Chips eine wichtige Nebenrolle. Deren Herstellung verbraucht ebenfalls viel Wasser, vor allem für die Reinigung der Rohlinge. Allein der größte Chiphersteller TSMC in Taiwan verbraucht täglich 150.000 Kubikmeter Wasser. Zur Einordnung: Damit könnte man 750 Standard-Schwimmbecken füllen.

Im Gegensatz zum Energieproblem wird der hohe Wasserverbrauch in Zukunft noch problematischer werden. Der Klimawandel wird die Ressource Wasser erheblich beeinflussen. Schon heute sind wir in vielen Regionen mit Wasserknappheit und steigenden Preisen konfrontiert. Eine nachhaltigere Wassernutzung scheint daher unausweichlich.

Problem 3: Die Qualität der KI-Inhalte nimmt ab

Ein ganz anderes Problem ist die Qualität der ausgegebenen Inhalte. Mit dem Update von GPT-3.5 auf GPT-4.0 gab es zunächst einen spürbaren Qualitätssprung. Da die GPT so konzipiert sind, dass sie nach dem grundlegenden Training im Live-Betrieb kontinuierlich dazulernen, sind Veränderungen im Laufe der Zeit buchstäblich vorprogrammiert. Man könnte jedoch davon ausgehen, dass die Qualität immer besser wird.

Im Falle von ChatGPT kann diese Annahme jedoch nicht bestätigt werden. Wissenschaftler der Stanford University und der University of California, Berkeley, haben in einer Studie nachgewiesen, dass sich sowohl GPT-3.5 als auch GPT-4.0 in relativ kurzer Zeit nach ihrer Veröffentlichung erheblich verändert haben. In einigen Bereichen schnitten beide Modelle sogar deutlich schlechter ab als bei ihrer Einführung.

Besonders auffällig sind u.a. die mathematischen Testfragen, für die es eindeutige Antworten gibt. Konnte GPT-4.0 im März 2023 Primzahlen noch mit einer Quote von 84 Prozent richtig bestimmen, sank die Quote im Juni auf nur noch 51,1 Prozent. Auch die Ausgabe des Programmcodes verschlechterte sich im gleichen Zeitraum massiv. Konnten anfangs noch mehr als 50 Prozent der Codeschnipsel ausgeführt werden, fiel der Wert anschließend auf 10 Prozent.

Dieses als „AI Drift“ bezeichnete Phänomen hatten Experten zwar erwartet, aber nicht in dieser Geschwindigkeit und Ausprägung. Die Gründe dafür sind komplex und müssen weiter erforscht werden. Klar ist jedoch, dass die Einbeziehung von Benutzereingaben eine Verwässerung der Trainingsdaten darstellt. Außerdem könnten bestimmte Anweisungen zu einer Verschiebung der Prioritäten des Modells führen. Zum Beispiel könnte die Anweisung „Schreibe für eine konservative Zielgruppe“ einen Bias (Verzerrung der Realität) erzeugen.

Die US-Wissenschaftler mahnen auch deshalb zur kontinuierlichen Beobachtung der LLMs, weil sie schon in der nächsten Generation ein weiteres Problem erwarten: KI-Inhalte werden selbst Teil der Datenbasis – enthalten sie Verzerrungen und Fehler, könnten die Modelle qualitativ kollabieren.

Fazit: KI-Werkzeuge mit Verstand einsetzen

Bei aller Begeisterung über die beeindruckenden Leistungen von ChatGPT & Co. sollten wir generative KI sehr bewusst und mit Verstand einsetzen. Der enorme Ressourcenhunger und die qualitativen Einschränkungen lassen einen uneingeschränkten Einsatz zumindest derzeit nicht als klug erscheinen.

Text: Falk Hedemann