Microsoft Copilot Studio introduceert 'computer use' voor UI-automatisering

Met 'computer use' kunnen agents handelingen verrichten zoals het klikken op knoppen, selecteren van menu's en invullen van velden op het scherm. Dit maakt het mogelijk om taken te automatiseren, zelfs wanneer er geen directe API-koppeling met het systeem beschikbaar is. Als een mens de applicatie kan gebruiken, kan de agent het ook.

Een belangrijk voordeel is dat 'computer use' zich automatisch aanpast aan wijzigingen in apps en websites. Het systeem maakt gebruik van ingebouwde redenering om problemen in real-time op te lossen, waardoor werkzaamheden zonder onderbreiding kunnen doorgaan. Bovendien is de functionaliteit gebouwd op de robuuste beveiligings- en governance frameworks van Copilot Studio, wat helpt bij het waarborgen van compliance.

Cloud

Met 'computer use' in Copilot Studio kunnen makers agents bouwen die taken automatiseren binnen zowel desktop- als browserapplicaties, waaronder Edge, Chrome en Firefox. De functionaliteit draait op de door Microsoft gehoste infrastructuur, waardoor organisaties geen eigen servers hoeven te beheren. Enterprise data blijft binnen de grenzen van de Microsoft Cloud en wordt niet gebruikt om het Frontier-model te trainen.

Deze nieuwe functie opent deuren naar diverse automatiseringsscenario's, zoals geautomatiseerde data-entry, het verzamelen van marktonderzoek en factuurverwerking. 'Computer use' transformeert Robotic Process Automation (RPA) door de beperkingen van traditionele UI-automatisering aan te pakken en complexe, dynamische interfaces te ondersteunen. Het maakt automatisering toegankelijker voor een breder publiek, zonder dat diepgaande programmeerkennis vereist is.

Geïnteresseerden in het verkennen van de nieuwe 'computer use' functionaliteit kunnen zich aanmelden via een formulier. Meer informatie over deze aankondiging zal ook worden gedeeld tijdens Microsoft Build in mei 2025.