Inferenz-Hardware und lokale Modelle dominieren den Tag: Vom iPhone-fähigen Voice-Modell bis zu DeepSeek auf Consumer-GPUs rückt On-Device-KI näher. Dazu: SpaceX als Neocloud-Player, AMD-Boom und kritische Fragen zu AI-Reife und Eval-Sicherheit.
Die Woche macht deutlich, dass On-Device-KI vom Konzept zur gelebten Praxis wird. VibeVoice 1.5B auf dem iPhone — nur 2,2 GB Speicherbedarf, bis zu 1,28× Echtzeit — ist der vielleicht prägnanteste Beleg dafür: Flüssige lokale Sprachgenerierung ohne Cloud ist auf einem Consumer-Smartphone angekommen. Parallel dazu hat die Community DeepSeek-V4-Flash via gepatchtem vLLM-Fork auf vier RTX-4090-GPUs mit 256k Kontextlänge zum Laufen gebracht — Datacenter-Leistungsklasse, Consumer-Hardware. Beide Entwicklungen folgen derselben Logik: Inferenz wandert aus dem Rechenzentrum an den Rand, zu Entwicklern und Endnutzern. Wer die Infrastruktur der Zukunft verstehen will, muss also nicht nur auf die Hyperscaler schauen, sondern auch auf das, was in Hobbyisten-Setups bereits funktioniert.
Auf der Gegenseite des Spektrums — dem industriellen Ausbau von Compute-Kapazität — liefert die Woche gleich zwei markante Datenpunkte. AMDs Datacenter-Umsatz hat sich im Jahresvergleich auf 6,7 Milliarden Dollar mehr als verdoppelt; CEO Lisa Su erwartet, dass dieses Segment 2027 erneut mehr als 100 Prozent wächst. Das Gaming-Geschäft hingegen schrumpfte um 31 Prozent — AI frisst Consumer-Elektronik. Noch ungewöhnlicher ist die Meldung zu SpaceX als Neocloud-Player: Das Unternehmen hat seinen KI-Umsatz auf 2,6 Milliarden Dollar verdreifacht, vor allem durch Compute-Deals mit Anthropic und Google — und verdient damit inzwischen mehr als mit seinem Kerngeschäft Raumfahrt. Der AI-Bereich schreibt noch rote Zahlen (1,5 Milliarden Dollar Verlust im Quartal), die Kapitalausgaben stiegen auf 18,37 Milliarden Dollar. Wie teuer der Infrastrukturaufbau für die gesamte Branche werden kann, zeigt unterdessen ein anderes Konstrukt: Google hat mit Broadcom, Apollo, Blackstone und Morgan Stanley eine aufwendige Finanzierungsstruktur aufgebaut, um Anthropic Zugang zu 35 Milliarden Dollar an TPU-Hardware zu verschaffen — ohne dass eine der beteiligten Parteien die Chips in der eigenen Bilanz führen will. Rund 200 Milliarden Dollar an Verträgen hängen letztlich an Anthropics Wachstum.
Während die Hardware-Schicht boomt, entwickeln sich die Abstraktionsschichten für Entwickler weiter. LLM 0.32 — Simon Willisons CLI-Framework — ist in seiner bedeutendsten Version seit dem Launch erschienen: sichtbare Reasoning-Traces, serverseitige Provider-Tools, ein stream-basiertes Event-Modell für Reasoning, Text und Tool-Calls sowie ein kompatibles OpenAI-Responses-API-Endpoint. Das macht das Tool zu einem leichtgewichtigen Agent-Framework, das komplexe Pipelines ohne eigene Abstraktionsschicht ermöglicht. Direkt daran anschließend beschreibt Latent Space die Architektur von ChatGPT Work — dem Agenten-Produkt für Wissensarbeit, das auf isolierten Micro-VMs läuft (Pro: 8 CPUs, 20 GB RAM, 64 GB Disk) und auf dem Codex-Unterbau aufbaut. Drei Wochen nach Launch hat Work zusammen mit Codex bereits zehn Millionen Nutzer erreicht; Greg Brockman hat bestätigt, dass Chat und Work bis Jahresende zusammengeführt werden — womit diese Architektur zur Standarderfahrung für über eine Milliarde Wochennutzer wird. Für Entwickler-Teams, die mit Agenten arbeiten, ist zudem relevant, was GitHub zum Umgang mit riesigen, agenten-generierten Pull Requests vorschlägt: Stacke…
