Intelligente Suche, Upscaling und mehr

Microsoft enthüllt KI-Roadmap von Windows 11

08.10.2024 von Hans-Christian Dirscherl und Mark Hachman
Windows 11 soll bald KI-basiertes Hochskalieren von Fotos und Füllen und Löschen auf Fotos beherrschen. Und dann gibt es noch dieses "Click to Do".
Super Resolution Windows 11
Foto: Microsoft

Was kommt als Nächstes für Windows? Microsoft hat zwar gerade erst das Windows 11 2024 Update (24H2) veröffentlicht, aber das Unternehmen verriet bereits seine Pläne für die Windows-Apps der nächsten Generation – und bis zu den Feiertagen sind einige sehr interessante KI-gestützte Funktionen geplant.

Microsoft hat bekannt gegeben, dass es an mehreren KI-Ergänzungen für Windows und Windows-Apps arbeitet: verbesserte Windows-Suche mit natürlicher Beschreibungssprache, Superauflösung in Fotos, generatives Füllen und Löschen in Paint sowie das Debüt von Recall. Alle (außer Recall) werden im Oktober im Rahmen des Windows Insider-Programms erscheinen und voraussichtlich im November auf den Markt kommen.

All diese Funktionen werden von der NPU in den Copilot-PCs abhängen, zu denen jetzt auch PCs mit Qualcomm Snapdragon X Elite-Prozessoren sowie AMDs Ryzen AI 300 und Intels Lunar Lake gehören werden. Microsoft plant außerdem mehrere weitere Copilot-Funktionen, die in der Cloud laufen werden. Dazu gehören Copilot Voice und Copilot Vision, ähnlich den Innovationen, die in konkurrierenden KI-Diensten verwendet werden. Der Zeitplan für diese neuen Funktionen wird jedoch je nach Plattform variieren, da Snapdragon X PCs bereits seit einigen Monaten ausgeliefert werden; Microsoft wird die Copilot-fähigen PCs von AMD und Intel mit eigenen Updates aktivieren.

Microsoft hat bereits weitere Details zur Überarbeitung von Windows Recall bekannt gegeben. Laut dem Unternehmen kann die Funktion bei der Einrichtung eines neuen PCs umgangen oder später entfernt werden. Windows Recall macht in regelmäßigen Abständen Schnappschüsse Ihres Bildschirms, extrahiert die Daten und speichert sie dann für den Fall, dass Sie sie später benötigen.

Die Funktion geriet in die Kritik, weil sie angeblich in die Privatsphäre des Benutzers eingreift und unsicher ist. Jetzt sagt Microsoft, dass es die in Recall verwendeten Screenshots und die extrahierten Daten in einer verschlüsselten “Enklave” speichert. Sicherheitsforscher hatten zuvor behauptet, die Daten würden unverschlüsselt gespeichert.

Dies scheint eine verbesserte semantische Suche in Verbindung mit Recall zu sein, bei der der Benutzer nach einer Sache sucht und die Suchergebnisse interpretieren, wonach der Benutzer sucht.

Insider, die Snapdragon X PCs besitzen, können Recall ab Oktober über das Windows Insider Programm ausprobieren. Wenn Sie einen Copilot-PC mit einem AMD- oder Intel-Chip besitzen, beginnt die Insider-Testphase erst im November. Wann wird Microsoft Recall für die Öffentlichkeit freigeben? Im Moment ist das noch ein Geheimnis.

Neue KI-Funktionen für Copilot-PCs

Microsoft plant, die Suche auf Ihrem PC zu verbessern, indem mehr natürliche Sprache bei der Suche nach Dateien auf Ihrem PC verwendet wird. Sie haben dies vielleicht schon in Apps wie Microsoft Fotos oder Googles Fotos-App gesehen. Wenn Sie zum Beispiel nach “Strand” suchen, verwenden die Apps KI, um Strandszenen zu identifizieren. Microsoft wird die gleichen Techniken im Datei-Explorer anwenden, obwohl nicht klar ist, auf welche Ordner oder Dateien sie angewendet werden.

Die verbesserte Windows-Suche scheint bei der Identifizierung von Szenen besser abzuschneiden als zuvor: in einer Demonstration wurde “Grillparty” als Beispiel für einen Suchbegriff aufgeführt (siehe unten).

“Sie müssen sich nicht mehr an Dateinamen oder den Speicherort von Einstellungen erinnern oder sich um die Rechtschreibung kümmern – geben Sie einfach ein, was Ihnen in den Sinn kommt, um es auf einem Copilot PC zu finden”, so Microsoft. Es ist jedoch unwahrscheinlich, dass Sie eine bestimmte .ini-Datei in den Tiefen Ihres Benutzerordners mit der gleichen Leichtigkeit finden werden wie ein Foto von der Hochzeit Ihrer Tante.

Die verbesserte Suche wird mit dem Datei-Explorer beginnen und dann “in den kommenden Monaten” auf die Windows-Suche und die Einstellungen ausgeweitet

Ein Beispiel für die verbesserte Suche von Microsoft in den Windows-Einstellungen. Normalerweise würde dieser spezielle Suchbegriff der Suche ein Achselzucken entlocken.

Super Resolution innerhalb von Fotos könnte meine Lieblingsanwendung sein, und sei es nur, weil a) ich viele alte Fotos von älteren, miserablen Digitalkameras habe und b) Journalisten oft Fotos mit geringer Auflösung erhalten, die für die Veröffentlichung vergrößert oder hochskaliert werden müssen. In jedem Fall verspricht die neue Funktion Super Resolution, diese Probleme zu lösen.

Microsoft hat Automatic Super Resolution als Möglichkeit zur Verbesserung von Spielen angekündigt, aber Super Resolution for Photos scheint noch praktischer zu sein. Es gibt zahlreiche Websites und Anwendungen, die eine Hochskalierung versprechen, und es ist nicht klar, ob diese neue App diese übertreffen wird.

Super Resolution for Photos wird jedoch kostenlos sein. Wenn Sie auf die KI-TOPS des Copilot PC tippen, können Sie die Auflösung bis zum Achtfachen erhöhen, so Microsoft. Super Resolution wird Teil von Photos sein, das bereits automatisch Beleuchtung und Farbton anpassen, einen Hintergrund entfernen, generative Elemente hinzufügen und vieles mehr kann.

Super Resolution nutzt KI, um Details zu ergänzen, die nicht vorhanden sind – hier in der Windows Fotos-App.

Apropos generative KI: Sie wissen, dass Microsoft noch mehr in petto hat. In Paint hat Microsoft bereits den Image Creator und den Cocreator hinzugefügt, mit denen KI-generierte Bilder über Ebenen hinzugefügt werden können – ebenfalls Teil von Paint.

In Photos ist die generative Löschung ebenfalls eine aktuelle Funktion. Zuvor gab es in Fotos die Funktion Fleckenlöschen, mit der ich Staub digital entfernen konnte, der sich meinem Reinigungstuch entzogen hatte, wenn ich ein Foto von einem Laptop oder einer Dockingstation machte. Das generative Löschen, das ebenfalls bereits in Photos enthalten ist, ermöglicht es Ihnen, einen ganzen Bereich zu definieren – z.B. ein Netzkabel – und diesen ebenfalls zu entfernen.

Hinweis: Wissen Sie, was seltsam ist? Die generative Löschung in Photos erfordert keine NPU, um zu funktionieren. Aber Microsoft sagt, dass die generative Löschung in Paint funktionieren wird.

Mit der generativen Füllung können Sie einen Bereich in Paint definieren und dann ein generatives Kunstwerk erstellen, das diesen Bereich füllt und sich intelligent in den Hintergrund einarbeitet. Sie konnten dies bereits in Paint tun, indem Sie eine zweite Ebene und dann ein KI-Kunstwerk erstellten und die beiden miteinander kombinierten. Diese neue Funktion ist intelligenter: Sie weist die KI an, bei der Erstellung des Bildes sowohl den von Ihnen definierten Bereich als auch den Hintergrund zu berücksichtigen, so dass ein nahtloses Ganzes entsteht.

Generative Füllung in Aktion, in Microsoft Paint. Der hinzugefügte Leuchtturm fügt sich thematisch in die Szene ein.

Die letzte Funktion, "Click to Do" genannt, ist ein kleines Rätsel. Normalerweise können Sie Ihren Mauszeiger über einen beliebigen Teil einer Webseite bewegen, mit der rechten Maustaste klicken und erhalten dann eine beliebige Anzahl von Optionen. Jetzt möchte Microsoft, dass Sie auf die Copilot-Schaltfläche klicken und dann (mit der linken Maustaste) irgendwo auf den Bildschirm klicken, um eine Liste von Optionen zu erhalten, darunter Kopieren, Speichern, Hintergrund unscharf machen und mehr.

"Auf Ihren Wunsch hin stellt Click to Do eine nahtlose Verbindung zu Tools und Aktionen her, mit denen Sie Aufgaben erledigen können, z. B. Hilfe bei der visuellen Suche mit Bing, das Verwischen des Hintergrunds oder das Löschen von Objekten in Fotos, das Entfernen von Hintergründen mit Paint und mehr", erklärt Microsoft. “Es hilft auch bei textbezogenen Aktionen wie dem Umschreiben, Zusammenfassen oder Erklären von Text in einer Zeile, dem Öffnen in einem Texteditor, dem Senden einer E-Mail (mit einer erkannten E-Mail-Adresse), der Websuche und dem Öffnen von Websites (mit einer erkannten URL).” Weitere Aktionen werden in den kommenden Monaten hinzukommen, so Microsoft.

Click to Do sieht nützlich aus, aber warum konnte dies nicht in das bestehende Rechtsklickmenü aufgenommen werden?

Microsoft demonstrierte, wie Click to Do eine Webseite "analysiert", wenn ein Benutzer den entsprechenden Klickbefehl verwendet. Unklar ist, ob die Benutzer sich daran erinnern werden, den "Copilot-Klick" tatsächlich zu verwenden, um Dinge zu tun, oder ob sie einfach in alte Gewohnheiten verfallen.

Dieser Artikel erschien zuerst bei unserer Schwesterpublikation PCWorld und wurde aus dem Englischen übersetzt und lokalisiert.

(PCWelt/kk)