Neue LLMs
KI-Modelle größer, schneller
von
Online
Redaktion - 25.07.2024
Foto: EMGenie
Neue Large Language Models (LLM) zeigen, mit welcher Geschwindigkeit die Entwicklung der Künstlichen Intelligenz auch weiterhin voranschreitet.
Im November 2022 wurde ChatGPT veröffentlicht. Seitdem überschlagen sich die Ereignisse im Sektor KI. Die zahllosen Services, die das ein oder LLM im Backend verwenden, sind hier gar nicht gemeint. So einen Service aufzusetzen, ist eine Sache von wenigen Tagen. Die richtigen Prompts und ein User Interface und schon kann der Service an den Start gehen.
Gemeint sind die teuren und aufwändigen Weiterentwicklungen bei den LLMs selbst. Hier spielen dann nur wenige Firmen mit. Trotzdem ist die Geschwindigkeit der Weiterentwicklung auch hier groß.
- Facebook hat gerade Llama 3.1 veröffentlicht. Es umfasst bis zu 405 Milliarden Gewichte und ist als Open Source verfügbar.
- GPT-4o mini ist noch schneller als GPT-4o und für API-Nutzer günstiger als der große Bruder
- Gemini 1.5 mit einem Kontextfenster von 2 Millionen Tokens
- Claude Sonnet 3.5, das in vielen Benchmarks besser abschneidet als die Konkurrenz
Aber auch jenseits der LLMs läuft die Entwicklung auf Hochtouren. So kann man mit MINT-1T einen Datenschatz von 1 Billion Text Token und 3.4 Milliarden Bildern herunterladen, um das Pretraining eines Models durchzuführen. Das Pretraining ist das automatische Grundtraining der Gewichte.
