Inferenz-Effizienz und Halluzinationen dominieren heute: Von verteiltem GPU-Pooling über Token-Pruning bis zu den tieferen Ursachen, warum selbst Frontier-Modelle noch immer halluzinieren. Dazu: neue Tools, Benchmarks und ein Blick auf Apotheken, wohin Consumer-AI als nächstes wächst.
Die Frage, warum selbst die besten Sprachmodelle noch immer halluzinieren, beantwortet ein vielbeachtetes Stück auf Towards Data Science mit einem aufschlussreichen Vergleich: Das menschliche Gehirn halluziniert aus demselben Grund wie ein LLM — es füllt ambige Eingaben mit der plausibelsten Vorhersage auf und meldet das Ergebnis als Tatsache zurück, ohne Unsicherheit zu signalisieren. Dieses Phänomen, in der Kognitionswissenschaft als phonemic restoration bekannt, ist laut Autor Omer Rosenbaum strukturell identisch mit dem „Gap-Filling"-Mechanismus in Transformer-Modellen. Das Problem bleibt produktionsrelevant: Alle aufgeführten Fälle ereigneten sich auf Frontier-Modellen, die meisten in den vergangenen Wochen. Parallel dazu hat ein Community-Experiment ein konkretes Messwerkzeug auf den Prüfstand gestellt: J-Space-Entropie aus späten Schichten von Qwen3-4B — ein von Anthropic beschriebenes Halluzinations-Signal — wurde über rund 11.400 Beispiele und sieben Datensätze getestet. Das Fazit ist ernüchternd präzise: Bei Long-Tail-Faktenabruf (PopQA) erreicht das Signal 100 % Präzision bei nur 5 % Review-Budget; bei internalisierten Mythen (TruthfulQA) versagt es mit 84,9 % Fehlerrate im vermeintlich „sichersten" Quadranten. Schwellwerte lassen sich nicht zwischen Task-Typen übertragen — jede Deployment-Umgebung erfordert eigene Kalibrierung.
Wer LLM-Systeme kosteneffizienter machen will, ohne an Ausgabequalität zu verlieren, findet zwei komplementäre Ansätze in der heutigen Auswahl. Auf der Ebene der Prompt-Architektur beschreibt ein deterministisches Prompt-Pruning-System auf Towards Data Science, wie akkumulierter Kontext — veraltete Tool-Outputs, Duplikate, irrelevante RAG-Chunks — vor dem Modell-Aufruf entfernt werden kann, ohne kritische Abhängigkeiten zu kappen. Die Token-Reduktion beträgt 2–4 % bei reinem Chat, aber 27–32 % bei RAG-Assistenten und 33–34 % bei agentischen Workloads; selbst bei 131.000 Tokens bleibt der Preprocessing-Overhead unter 50 Millisekunden. Auf der Hardware-Ebene zeigt ein Homelab-Benchmark auf einem MS-02 Mini-PC, dass CPU-only-Inference mit llama.cpp bei 30–35B-MoE-Modellen mit 14–16 Tokens pro Sekunde die iGPU-Backends (Vulkan, SYCL) klar schlägt, die auf maximal 12 Tokens kommen. Für Homelab-Betreiber mit Intel ARC-iGPU ist der Aufwand für SYCL oder Vulkan derzeit nicht gerechtfertigt. Wer hingegen mehrere solcher Maschinen verbinden möchte, hat seit dieser Woche eine neue Option: Mesh LLM pooled verteilte GPUs über das iroh-Netzwerk zu einer einzigen OpenAI-kompatiblen API. Das System unterstützt Modelle bis 235B Parameter im Mixture-of-Experts-Format, verteilt diese per Layer-Splitting („Skippy") über mehrere Maschinen und benötigt keinen zentralen Server — Routing, NAT-Traversal und Authentifizierung übernimmt QUIC.
Im Modell-Wettbewerb liefert Meta Muse Spark 1.1 ein konkretes Kosten-Leistungs-Argument: Laut Artificial Analysis erzielt das Modell auf dem Coding Index 71,3 Punkte — mehr als GLM-5.2 (68,8) — und kostet geschätzte 0,26 Dollar pro Task gegenüber 0,37 Dollar für GLM-5.2 und 0,89 Dollar für GPT-5.4. Die Halluzinationsrate sank von 73 auf 38 Prozent, weil das Modell bei Unsicherheit häufiger die Antwort …
