Im November 2022 wurde ChatGPT veröffentlicht. Seitdem überschlagen sich die Ereignisse im Sektor KI. Die zahllosen Services, die das ein oder LLM im Backend verwenden, sind hier gar nicht gemeint. So einen Service aufzusetzen, ist eine Sache von wenigen Tagen. Die richtigen Prompts und ein User Interface und schon kann der Service an den Start gehen.
Gemeint sind die teuren und aufwändigen Weiterentwicklungen bei den LLMs selbst. Hier spielen dann nur wenige Firmen mit. Trotzdem ist die Geschwindigkeit der Weiterentwicklung auch hier groß.
Aber auch jenseits der LLMs läuft die Entwicklung auf Hochtouren. So kann man mit
MINT-1T einen Datenschatz von 1 Billion Text Token und 3.4 Milliarden Bildern herunterladen, um das Pretraining eines Models durchzuführen. Das Pretraining ist das automatische Grundtraining der Gewichte.