Das bringen die neuen KI-CPUs wirklich

Egal, ob Intel, AMD oder Qualcomm, lautstark trommeln die Hersteller für den KI-PC. Und Intel-Chef Pat Gelsinger propagierte bereits das "Zeitalter des KI-PCs". KI scheint das neue Metaverse zu sein, das jeder haben muss.

Aus Sicht der Hersteller ist das auch nur allzu verständlich. Mit Snapdragon X Elite, Ryzan 8000 oder dem Core Ultra haben Qualcomm, AMD und Intel neue Prozessoren mit On-Chip-KI am Start. Im stagnierenden PC-Markt sollen die CPUs mit NPU die Kassen wieder klingeln lassen.

Braucht es NPUs für KI?

Doch braucht es die integrierten NPUs wirklich, um KI nutzen zu können? Unsere Kollegen von der PCWorld haben den Reality-Check gemacht. Sie kommen zu dem Ergebnis, dass die NPUs nicht die überragende Rolle bei der KI-Berechnung spielen wie propagiert. Die Rechenleistung von CPU und insbesondere GPU tragen mehr dazu bei.

Doch der Reihe nach. Zuerst einmal: Die künstliche Intelligenz an sich gibt es nicht. KI setzt sich aus einer Vielzahl an unterschiedlichen Aufgaben zusammen: Bilderzeugung, etwa mithilfe von Stable Diffusion, Large-Language Models (LLMs), die Chatbots, die durch den (Cloud-basierten) Microsoft Copilot und Google Bard populär geworden sind, und eine Vielzahl anwendungsspezifischer Verbesserungen. Hier sei nur an die KI-Verbesserungen in Adobe Premiere und Lightroom erinnert.

Procyon-Benchmark

Kombiniert man die zahlreichen Variablen bei LLMs allein (Frameworks, Modelle und Quantisierung, die sich alle darauf auswirken, wie Chatbots auf einem PC laufen) und das Tempo, mit dem diese Variablen schwanken, dann ist es sehr schwierig, einen Gewinner zu bestimmen. Hier können nur Benchmarks weiterhelfen.

Die PC World verwendete hierzu den Procyon AI Inferencing Benchmark von UL. Dieser berechnet, wie effektiv ein Prozessor bei der Verarbeitung verschiedener großer Sprachmodelle arbeitet. Dabei ermöglicht er es, CPU, GPU und NPU miteinander zu vergleichen.

KI-CPU im Benchmark

Testobjekt war ein Core Ultra 7 165H in einem MSI-Laptop. Auf diesem führte Procyon die LLMs auf dem Prozessor aus und berechnete eine Punktzahl, die auf Leistung, Latenz und anderen Faktoren basiert.

Hier die Ergebnisse:

• Procyon (OpenVINO) NPU: 356

• Procyon (OpenVINO) GPU: 552

• Procyon (OpenVINO): CPU: 196

Die GPU zählt

Der Benchmark bestätigt mehrere Punkte: Grundsätzlich macht die NPU einen Unterschied aus, im Vergleich zu den Leistungs- und Effizienzkernen der CPU. So übertrifft die NPU diese um 82 Prozent. Allerdings liegt die KI-Leistung der GPU bei 182 Prozent der CPU und übertrifft die NPU um 55 Prozent.

Oder anders formuliert: Wer Wert auf KI legt, sollte zuerst eine große, leistungsstarke Grafikkarte oder GPU kaufen. Der zweite Punkt ist jedoch weniger offensichtlich. KI-Anwendungen können auf einer CPU oder GPU ausgeführt werden, ohne dass ein spezieller KI-Logikblock benötigt wird. Die Procyon-Tests zeigen lediglich, dass einige Blöcke effektiver arbeiten als andere.

Effizienter dank NPU

Anders sieht das Blatt aus, wenn das Effizienz zur Sprache kommt. Und bei einem Notebook ist Effizienz gleichbedeutend mit langer Akkulaufzeit. Und hier kommt die NPU dann durchaus zum Tragen, etwa, wenn ein langes Microsoft-Teams-Gespräch in den Tiefen eines Hotelzimmers oder Konferenzzentrums geführt wird und die KI dabei Rauschen und Hintergrundaktivitäten herausfiltern muss.

Eine andere Frage ist, inwieweit Apps überhaupt die neuen KI-Prozessoren erkennen und die integrierte NPU nutzen? So erkannte die Procyon-App von UL zwar die CPU und die GPU in einer Ryzen KI-CPU von AMD, nicht aber die NPU.

Die NPU ist kein Muss

Grundsätzlich zeigt sich aber, dass eine NPU nicht unbedingt benötigt wird, um KI auf dem PC auszuführen, insbesondere wenn ein Gaming-Laptop oder -Desktop vorhanden ist. Die NPUs von AMD, Intel und Qualcomm sind zwar schön, aber kein Muss. Zumal GPUs derzeit die schnellere Lösung sind.

Und es stellt sich die Frage, wie viele Anwender wirklich KI lokal auf dem PC laufen lassen? Denn Cloud-basierte Lösungen werden viel schneller sein. Ende des Jahres könnten aber die Karten neu gemischt werden, wenn Intel mit Lunar Lake eine CPU bringt, die mit der dreifachen NPU-Leistung aufwartet. Aber auch hier bleibt abzuwarten, ob die Anwender dann dem Hype der Chiphersteller folgen und dass KI wirklich auf ihrem PC und nicht in der Cloud laufen lassen.