Microsoft ได้เปิดตัวฟีเจอร์ใหม่ที่มีชื่อว่า “Computer Use” สำหรับ Copilot Studio ซึ่งเป็นแพลตฟอร์มที่ช่วยให้ธุรกิจและผู้ใช้ทั่วไปสามารถสร้าง AI agents ช่วยทำงานแทนมนุษย์ได้ทั้งบนเว็บไซต์และแอปพลิเคชันบนเดสก์ท็อปอย่างอัตโนมัติ มีความคล้ายกับฟีเจอร์ Operator ของ OpenAI ที่เปิดตัวเมื่อเดือนมกราคม และฟีเจอร์ “computer use” ของ Claude ที่เปิดตัวเมื่อเดือนกุมภาพันธ์
ผู้บริหารของ Copilot เผยว่าฟีเจอร์ Computer Use จะช่วยทำงานแทนผู้ใช้กับเว็บไซต์และแอปพลิเคชันเดสก์บนท็อปได้ ตั้งแต่การคลิกปุ่ม เลือกเมนู และพิมพ์กรอกข้อมูลลงในช่องรับข้อมูลบนหน้าจอ ซึ่งเป็นการช่วยให้ AI agents ที่ผู้ใช้สร้างขึ้นสามารถทำงานหรือจัดการกับภารกิจต่าง ๆ ได้เลย เพราะปกติแล้วจะต้องเชื่อมต่อเอไอเข้ากับระบบหรือแอปพลิเคชั่นอื่น ๆ ผ่าน API เพื่อทำงานต่าง ๆ ได้ แต่ฟีเจอร์นี้ไม่ต้องใช้ API ก็สามารถเชื่อมเอไอเข้าไปทำงานได้เช่นกัน
Copilot Studio เป็นแพลตฟอร์มจาก Microsoft ที่ช่วยให้ผู้ใช้สามารถสร้างและปรับแต่ง AI agents ได้โดยไม่ต้องเขียนโค้ด เปิดตัวครั้งแรกเมื่อเดือนพฤศจิกายน 2023 มีความสามารถในการช่วยทำงานต่าง ๆ เช่น ตอบคำถาม ป้อนข้อมูลอัตโนมัติ จัดการกับงานอัตโนมัติ (ตัวอย่างเช่นใบแจ้งหนี้) วิจัยตลาด และช่วยทำงานใน Microsoft 365 ทั้งนี้มี UI ที่ช่วยให้ผู้ใช้สามารถออกแบบการทำงานให้กับเอไอได้อย่างง่าย
ส่วนฟีเจอร์ใหม่ Computer Use ที่เพิ่มเข้ามาสามารถตรวจจับการเปลี่ยนแปลงของ UI เช่น ถ้ามีการย้ายตำแหน่งปุ่มในเว็บไซต์หรือบนแอป หรือมีการเปลี่ยนดีไซน์บนหน้าจอ เจ้าตัว AI agent จะรู้ว่ามีการเปลี่ยนแปลงสิ่งเหล่านี้เกิดขึ้น ซึ่งสามารถหาปุ่มเจอและคลิกปุ่มเพื่อส่งแบบฟอร์มได้ สรุปง่าย ๆ ว่าสามารถทำงานต่อได้แบบไม่มีสะดุด
เมื่อช่วงต้นเดือนเมษายน Microsoft ได้เพิ่มฟีเจอร์ Actions ซึ่งเป็น AI agents ที่คล้ายกับ Computer Use ไว้ใน Copilot รุ่นสำหรับผู้ใช้ทั่วไป ช่วยให้ Copilot สามารถจองโต๊ะร้านอาหาร, จองตั๋วงานอีเวนต์ ซื้อบัตรคอนเสิร์ตหรือตั๋วหนัง และซื้อสินค้าจากร้านค้าออนไลน์หด้ เช่น สั่งดอกไม้ผ่านเว็บ แต่ดูเหมือนว่า Actions จะทำงานได้กับเว็บไซต์และแอปที่เป็นพันธมิตรกับ Microsoft เท่านั้น แต่ฟีเจอร์ Computer Use สามารถทำงานกับเว็บไซต์หรือแอปใด ๆ ก็ได้ เช่น จองโต๊ะอาหารหรือสั่งซื้อดอกไม้บนเว็บไซต์ใดก็ได้