Inferenz-Infrastruktur und Edge-Deployments dominieren heute – von 700 Token/s auf lokaler GPU bis zu regionalem Routing und Telekom-Edge-Compute. Dazu prägen Open-Source-Lizenzkonflikte, Security-AI und ein indischer Rechtsfall das regulatorische Bild.
Die Woche bringt einen Schlüsselmoment für die Debatte um offene KI-Modelle: Moonshot AI hat die Gewichte seines 2,8-Billionen-Parameter-Modells Kimi K3 veröffentlicht – 1,56 TB auf Hugging Face, bereits über sieben Provider auf OpenRouter verfügbar. Die Lizenz ist dabei aufschlussreich: Moonshot nennt das Modell konsequent „open weight", nicht „open source", und verlangt ab 20 Millionen US-Dollar Jahresumsatz einen Sondervertrag für Model-as-a-Service-Betreiber. Das ist kein Einzelfall, sondern Teil eines strukturellen Trends: Wie Gradient Flow in seiner Analyse des Open-Model-Begriffs festhält, hat „offen" aufgehört, irgendetwas verlässlich vorherzusagen. Der teuerste Open-Coding-Modell kostet derzeit rund dreizehnmal mehr pro Million Token als das günstigste vergleichbare Modell – beide liefern die Gewichte. Offenheit, Leistung und Preis seien zu drei vollständig getrennten Fragen geworden, die Beschaffungsentscheidungen auf Basis von Buzz riskierten, alle drei auf einmal falsch zu beantworten.
Parallel dazu verlagert sich der Wettbewerb zunehmend auf die Inferenz-Effizienz. Aus der LocalLLaMA-Community kommt ein bemerkenswerter Benchmark-Report zu Ninfer: Das speziell für Qwen3.6-Modelle entwickelte Tool erreicht auf einer RTX 5090 zwischen 550 und 720 Token pro Sekunde bei vollem 250k-Kontext – Single-Instance-Throughput auf einem Niveau, das bislang spezialisierten Cloud-Chips vorbehalten schien. Auf der anderen Seite des Spektrums steht Microsofts VibeVoice-ASR-BitNet: ein quantisiertes Spracherkennungsmodell für Edge-CPUs ohne GPU-Anforderung. Durch heterogene Quantisierung schrumpft es von 4,62 GB auf 1,58 GB, erreicht dabei eine 1,6- bis 2,3-fache Inferenzgeschwindigkeit gegenüber Whisper.cpp und läuft bereits ab drei CPU-Threads in Echtzeit. Wie Netflix derweil im Produktionsbetrieb vorführt, ist der Weg von diesen lokalen Experimenten zur stabilen Plattform lang: Das Unternehmen hat seinen internen LLM-Serving-Stack öffentlich beschrieben, der Triton und vLLM kombiniert. Inkompatible Versionen der beiden Frameworks können Deployments blockieren; Netflix pinnt deshalb getestete Versionspaare und nutzt Red-Black- sowie Versioned-Deployment-Strategien – Lessons learned, die für jeden relevant sind, der Inferenz in bestehende JVM-basierte Plattformen integriert.
Für Teams mit Compliance-Anforderungen adressiert Vercel derweil eine andere Lücke in der Inferenz-Infrastruktur: Das regionale Routing im AI Gateway erlaubt es, Datenresidenz mit einem einzigen Parameter für alle Modell-Anbieter zu erzwingen – entweder US, EU oder globales Routing. Läuft kein Provider in der gewählten Region, schlägt der Request fehl, statt stillschweigend woanders ausgeführt zu werden. Der Aufpreis von rund zehn Prozent wird ohne eigenen Markup weitergegeben. Ein passendes Beispiel im Vercel-Blogpost zeigt das Feature exemplarisch mit Kimi K3 als Modell – womit sich der Kreis zur Moonshot-Gewichtsveröffentlichung schließt.
Das Thema Sicherheit liefert diese Woche zwei gegensätzliche Signale. Auf der Angebotsseite lanciert Microsoft MAI-Cyber-1-Flash, ein kompaktes Security-Modell, das im MDASH-Multi-Agenten-System 90 Prozent der Aufgaben eigenständig übernimmt und nur komplexe Fälle an GPT-5.4 we…
