Lange ging der Trend klar in Richtung Zentralisierung: alles in die Cloud, zu AWS, Azure oder GCP. Bei KI-Inferenz schwingt das Pendel inzwischen teilweise zurück.
Ein Grund ist die Latenz. Einen Sprachbefehl an ein entferntes Rechenzentrum zu senden, ihn dort mit einem großen Modell zu verarbeiten und die Antwort zurückzustreamen, kostet Zeit. Bei Sprachanwendungen kann diese Verzögerung das Gefühl eines natürlichen Gesprächs stören.
Das SLM (Small Language Model)
Große Cloud-Modelle sind beeindruckend, aber nicht jede Aufgabe braucht sie. Um eine E-Mail zusammenzufassen oder eine Transaktion zu kategorisieren, reicht oft ein schnelles, effizientes kleineres Modell.
Modelle wie Llama 3 8B, Gemini Nano oder Phi sind klein genug, um auf aktuellen Laptops oder Smartphones zu laufen, und für viele klar umrissene Alltagsaufgaben gut genug.
Cloud-Inferenz
- Latenz: Netzwerk + Server
- Kosten: Pro Token / Anfrage
- Datenschutz: Daten verlassen Gerät
- Offline: Nicht möglich
Edge-Inferenz
- Latenz: Kein Netzwerk-Roundtrip
- Kosten: Hardware des Nutzers
- Datenschutz: Daten bleiben lokal
- Offline: Möglich
WebGPU: Der Browser als Laufzeitumgebung
WebGPU ermöglicht Webanwendungen den Zugriff auf die Grafikkarte des Nutzers, inzwischen in den gängigen Browsern. Ein Modell von einigen Gigabyte kann einmal geladen, im Browser-Cache abgelegt und danach ohne Serverkontakt ausgeführt werden. Die Grenzen: Die erste Ladezeit ist spürbar, und die Leistung hängt stark vom Gerät ab.
Ein typisches Szenario: eine Diktier-App für Umgebungen mit schlechtem oder keinem WLAN. Ein lokales Spracherkennungsmodell wie Whisper kann über WebAssembly oder WebGPU direkt im Browser laufen, sodass die App auch ohne Verbindung funktioniert und Audiodaten das Gerät nicht verlassen.
Die hybride Architektur
In der Praxis ist die beste Lösung selten rein Edge oder rein Cloud, sondern meist hybride KI.
Router-Pattern
Das lokale Modell versucht zuerst zu antworten. Wenn die Zuversicht niedrig ist oder die Aufgabe zu komplex, eskaliert es an die Cloud-API.
Optimistische UI
Das lokale Modell generiert eine sofortige Platzhalterantwort, während das Cloud-Modell die hochwertige endgültige Antwort generiert.
Nicht jede Anfrage braucht eine GPU-Cloud. Wir helfen Ihnen, eine KI-Architektur zu entwickeln, die lokale und Cloud-Inferenz sinnvoll kombiniert und die Hardware nutzt, die Ihre Nutzer bereits besitzen. Mehr dazu unter KI und Machine Learning.
