Inferenz-Effizienz dominiert heute auf ganzer Breite: Von V100-Recycling bis Apple-Silicon-VMs und 3,6B-Modellen mit 670 t/s. Dazu: Claude-Wasserzeichen, Gemini bei 1 Mrd. MAU und konkrete Kostenhebel für LLM-Produktionsbetrieb.
Die Woche steht im Zeichen der Inferenz-Ökonomie — und zwar auf allen Ebenen der Stack-Hierarchie gleichzeitig. Den vielleicht plastischsten Beleg liefert ein Community-Entwickler, der mit der Open-Source-Bibliothek v100-skinny bis zu 366 Token pro Sekunde mit Qwen3 27B auf eigentlich nicht offiziell unterstützter V100-Hardware erreicht — realistisch sind laut Repo ~240 t/s bei JSON und ~200 t/s bei Code-Generierung. Parallel dazu zeigt ein Team rund um die macOS-Virtualisierungsplattform Lume, dass Apple-Silicon-VMs mit einem Metal-Capability-Shim 11- bis 16-fach schnellere LLM-Inferenz erzielen — auf einem M1 Ultra erreicht die entsperrte VM dabei 98 Prozent der Bare-Metal-Geschwindigkeit bei der Prompt-Verarbeitung. Beide Ansätze folgen derselben Logik: vorhandene Hardware besser ausnutzen, statt auf neue Chips zu warten.
Auf der Modellseite setzt Nvidia einen eigenen Akzent. Nemotron 3.5 Lightning ist ein Open-Weights-Modell mit 31,6 Milliarden Gesamtparametern, von denen nur 3,6 Milliarden aktiv sind — und erreicht laut Artificial Analysis knapp 670 Token pro Sekunde, fast doppelt so schnell wie Googles Gemini 3.5 Flash-Lite mit 386 t/s. Auf dem Intelligence Index erzielt das Modell 24 Punkte, womit es mit OpenAIs gpt-oss-120b gleichzieht, das viermal mehr Parameter besitzt. Besonders auffällig sind die Fortschritte bei agentischen Benchmarks: Auf GDPval-AA v2 erreicht Lightning ein Elo-Rating von 824 — 334 Punkte mehr als sein Vorgänger und besser als sowohl gpt-oss-120b als auch das größere Nemotron 3 Super. Das Modell wird unter der permissiven OpenMDW-1.1-Lizenz veröffentlicht und ist über mehrere Inferenzanbieter verfügbar. Die zugehörige strategische These ist nicht neu: Nvidia-Forscher argumentierten bereits in einem vieldiskutierten Paper, dass Modelle unter zehn Milliarden Parametern die meisten Agenten-Workloads zu einem Bruchteil der Kosten von 70- bis 175-Milliarden-Modellen bewältigen können.
Wer diese Effizienzgewinne in Produktion übersetzen will, braucht auch die richtigen Betriebsstrategien. Meryem Arik, CEO von Doubleword, liefert dazu beim QCon San Francisco einen konkreten Leitfaden für minimale Token-Kosten bei hochvolumigen, nicht-echtzeit-kritischen Workloads: Ihr zentrales Argument ist, dass die meisten Unternehmen Inferenz um den Faktor 2 bis 5 überbezahlen, weil ihr Stack nicht auf ihre tatsächlichen Use-Case-Prioritäten abgestimmt ist. Ergänzt wird diese Kostenperspektive durch einen Beitrag des IBM-Research-Teams, das mit ALTK-Evolve auf AppWorld einen Task-Goal-Completion-Wert von 89,3 gegenüber 80,4 bei ACE erreicht — bei nur rund 40 Prozent der Inferenzkosten (263.000 versus 634.000 Token pro Task). Der entscheidende Unterschied: ALTK-Evolve liefert Guidelines selektiv und aufgabenbezogen aus, statt wie ACE bei jedem Schritt das vollständige Playbook zu injizieren. Und für das extreme Effizienz-Extrem steht TinyTitle: ein GRU-basiertes Modell mit 1,8 Millionen Parametern, das Chat-Nachrichten in Titel umwandelt und dabei unter 5 MiB RAM benötigt — rund 25-mal weniger als das nächstkleinere Referenzmodell. Der vollständige Stack besteht aus einem einzigen kleinen C-Binary.
Während die Infrastrukturseite rationalisiert wird, spielen sich auf der Anbieterseite Vertrauens- …
