Foto: Blue Andy - shutterstock.com
Microsofts KI Copilot könnte bald lokal auf PCs laufen, statt in der Cloud. Dies erklärte zumindest Intel gegenüber der Website Tom's Hardware. Allerdings hat die Sachen einen Haken: Die derzeitigen KI-CPUs, die in Consumer PCs verbaut werden, haben noch nicht das entsprechende Leistungsniveau.
Dem Bericht zufolge müssten die Prozessoren über Neural Processing Units (NPUs) verfügen, die mehr als 40 Billionen Operationen pro Sekunde (40 TOPS) durchführen könnten. Eine Performance, die derzeit keine CPU im Consumer-Segment - egal ob Intel oder AMD - aufweist.
Onboard-KI für Copilot
Ferner erwähnte Intel in dem Bericht, dass diese KI-PCs so ausgestattet sein werden, dass sie "mehr Elemente von Copilot" direkt auf dem Gerät verarbeiten können. Derzeit werden die meisten Copilot-Aufgaben in der Cloud verarbeitet.
Dort ist zwar die entsprechende Rechen-Power vorhanden, doch insbesondere bei kleineren Anfragen kommt es zu Verzögerungen. Eine Verbesserung der lokalen Rechenleistung könnte solche Verzögerungen reduzieren. Ausgelöst wurde die Diskussion durch die jüngsten Fortschritte in Sachen Hardware. Hier sei nur an die Integration von neuronalen Verarbeitungseinheiten (NPUs) in die neuesten Intel-Meteor-Lake-Chips und AMD-Angebote erinnert.
Noch fehlt die NPU-Rechen-Power
Diese NPUs, die als dedizierte Komponenten mit geringem Stromverbrauch konzipiert sind, sollen die lokale Ausführung von generativen KI-Modellen erleichtern und die Effizienz der KI-Verarbeitung steigern. Es wird erwartet, dass NPUs zu einem Standardmerkmal in zukünftigen PCs werden und es ermöglichen, KI-Aufgaben nahtlos im Hintergrund auszuführen - selbst im Akkubetrieb.
Damit könnte dann die KI-Verarbeitung in Cloud-Rechenzentren der Vergangenheit angehören, was erhebliche Ressourcen und Strom einsparen würden. Aber noch ist das ein frommer Wunsch, denn um anspruchsvollere LLMs zu verarbeiten, sind heute leistungsfähige PCs mit Highspeed-Grafikprozessoren (GPUs) notwendig, die früher für das Crypto-Mining begehrt waren.
KI steuert Notebook
Eine KI-Engine von MSI erkennt beispielsweise die Aktivitäten des Laptops und passt das Akkuprofil, die Lüftergeschwindigkeit und die Bildschirmeinstellungen automatisch an die jeweilige Aufgabe an. Wird etwa gespielt, erhöht die KI die Leistung auf das Maximum; wird dagegen an Word-Dokumenten gearbeitet, schaltet sie alles zurück.
KI für unterwegs
Der Trend zur lokalen KI ist nicht auf PCs beschränkt. So sind etwa die Google-Smartphones Pixel 8 und Pixel 8 Pro mit dem Tensor G3-Chip ausgestattet, der laut Google die Grundlage für generative On-Device-KI bildet.
Diese Technologie unterstützt bereits KI-gesteuerte Funktionen wie eine Audiozusammenfassung in der Recorder-App. Und in der Gboard-Tastatur generiert die KI intelligente Antworten. Trotz dieser Fortschritte ist diese Hardware derzeit jedoch nicht in der Lage, umfangreiche KI-Modelle wie Googles Bard AI, Copilot oder ChatGPT lokal auszuführen. Wenn, dann laufen auf diesen Geräten eher kompakte Modelle.
Mehr Sicherheit
Als weiteren Pluspunkt führen die Propagandisten der KI-CPUs eine Verbesserung der Cybersicherheit ins Feld. Cybersecurity-Berater John Bambenek weist beispielsweise darauf hin, dass ein erhebliches Risiko für Unternehmen bei der KI-Integration das Management des Datenflusses und -zugriffs ist, wenn es etwa um die Verarbeitung geistigen Eigentums mittel KI geht. Hier könnte eine lokal eingesetzte KI für mehr Vertrauen sorgen.
Alles nur Marketing?
Kritische Stimmen sehen in dem Hype um die Onboard-KI jedoch nur ein Konjunkturprogramm für die Chiphersteller. Diese, so der Vorwurf, würden auf diese Weise versuchen, neue CPUs zu verkaufen, obwohl das Gros der verbauten Prozessoren eigentlich genug Rechenleistung für die meisten Programme mitbringt.