Cloudflare

Mistral KI für Cloudflare Workers

Quelle: Foto: Cloudflare.com
23.11.2023
Connectivity-Cloud-Anbieter Cloudflare hat bekannt gegeben, dass das neue große Sprachmodell Mistral 7B ab sofort verfügbar ist, um hyperlokale KI-Inferenz in seinem Netzwerk auszuführen.
Mistral ist eine Erweiterung von Cloudflares kürzlich gestarteter Workers AI, die serverlose, kostenpflichtige Inferenz am Rande des Netzwerks bieten soll. Mistral läuft auf Cloudflares globalem Netzwerk, um eine leistungsstarke und erschwingliche LLM-Option für Entwickler zu bieten, die KI-gestützte Anwendungen entwickeln. Mistral nutzt die Grouped-Query-Attention – eine neu entwickelte Technik, welche die Inferenzgeschwindigkeit verbessern soll, ohne die Qualität der Ausgabe zu beeinträchtigen – und kann viermal so viele Token pro Sekunde generieren wie andere Modelle (zum Beispiel Llama).
Mistral 7B ist ein 7,3 Milliarden Parameter-umfassendes KI-Modell, das laut Cloudflare bei Benchmarks beeindruckende Zahlen liefert. Das Modell:
Mehr dazu erfahren Sie in diesem Blogbeitrag .

Autor(in)

Das könnte sie auch interessieren
Cloud-PBX
Nfon und die Deutsche Telefon Standard wachsen zusammen
Ab September
Avaya bekommt einen neuen CEO
Effizienter arbeiten
Zoom präsentiert Workflow-Automatisierung
Cloudflight-Umfrage
KI im Code - hilft sie oder hindert sie?
Mehr News?
Besuchen Sie unsere Seite ...
https://www.com-magazin.de
nach oben