Inferenz-Effizienz dominiert heute: von 3× schnellerer lokaler Inferenz auf Apple Silicon bis zu 30× Throughput-Versprechen auf Standard-GPUs. Dazu: Preiskampf zwischen US- und China-Labs, Context Engineering für robuste Agenten und ein erster Prompt-Injection-Angriff vor Gericht.
Der globale Preiskampf im KI-Markt verschärft sich – und er ist längst kein rein amerikanisches Phänomen mehr. OpenAI und Anthropic reagieren auf chinesische Konkurrenz mit gezielten Preissenkungen im Mittelsegment: OpenAI hat GPT-5.6 Luna von 1 auf 0,20 Dollar pro Million Input-Token gesenkt, Anthropic bringt Claude Opus 5 zu halbem Preis von Fable 5. Laut Silicon Data's Token-Preisindex sind die Durchschnittspreise führender US-Labs seit Mitte Juli um fast ein Viertel gesunken. Auslöser sind unter anderem Unternehmen wie DoorDash und Airbnb, die bereits chinesische Modelle einsetzen, um steigende KI-Kosten zu begrenzen. Dazu tritt Alibabas Qwen-Team mit Qwen3.8: Das Open-Weight-Flaggschiff Qwen3.8-27B ist unter Apache-2.0-Lizenz verfügbar, verarbeitet nativ bis zu 262.000 Tokens Kontext und soll den größeren Vorgänger Qwen3.7-Plus bei Coding- und Office-Aufgaben übertreffen. Für Entwickler, die kommerzielle Lizenzrestriktionen vermeiden wollen, ist das ein direktes Argument.
Parallel dazu tobt ein ebenso wichtiger Kampf um Inferenz-Effizienz – diesmal auf der Hardware-Seite. Das französische Startup Kog verspricht 30-fach schnellere LLM-Inferenz auf Standard-GPUs per Software-Optimierung, ohne neue Chips kaufen zu müssen. CEO Gaël Delalleau berichtet von 200 konkreten Business-Leads nach einem Tech-Preview, der auf AMD MI300X und Nvidia H200 bereits 3.000 Tokens pro Sekunde mit einem 2-Milliarden-Parameter-Modell demonstrierte. Die erste LLM-Implementierung mit 10-fachem Speed ist für September geplant. Auf Consumer-Hardware bietet mlx-dspark v0.10.0 mit spekulativem Decoding für Qwen3-27B auf Apple Silicon einen bis zu dreifachen Speedup: 8-Bit-Inferenz erreicht auf dem M4 Pro über 20 Tokens pro Sekunde – und damit mehr als plain 4-Bit (14,6 tok/s). Das Tool ist OpenAI- und Anthropic-API-kompatibel und kann direkt als Backend für Claude Code dienen. Die Botschaft an Entwickler: Höhere Qualität muss keine langsamere Inferenz bedeuten.
Günstigere Modelle und schnellere Chips helfen wenig, wenn die eigentliche Kostenfalle im Nutzungsverhalten liegt. Anthropic adressiert das mit Best Practices für effiziente Claude Code Sessions: `/clear` zwischen Tasks, `/compact` vor Pausen, `MAX_THINKING_TOKENS=0` für Routineaufgaben und das Vermeiden unnötiger File-Reads können die Token-Kosten für dieselbe Aufgabe erheblich variieren lassen. Dasselbe Thema beleuchtet ein QCon-Vortrag zur Context Engineering-Architektur für Agenten: Baruch Sadogursky und Patrick Debois zeigen, dass aufgeblähte Kontextfenster – vollgestopfte CLAUDE.md-Dateien, mitgeschleppte Log-Outputs, akkumulierende Chat-Verläufe – eine Hauptursache für unzuverlässige Agenten-Workflows sind. Ihr Fazit: Die richtigen 300 Tokens schlagen 100.000 rauschende. Wer agentic Pipelines robuster machen will, sollte Lazy-Loaded Skills, versionierte Context Artifacts und externe Memory Banks in Betracht ziehen. GitHub geht einen Schritt weiter und bündelt spezialisierte Copilot-Agent-Apps für den gesamten Software-Delivery-Lifecycle – von Planung und Security-Checks bis zu Deployment und Release – direkt auf der Plattform.
An zwei Flanken zeigen sich derweil grundlegende Grenzen heutiger KI-Systeme. Das von Mo…
