테크레시피

마이크로소프트, 코파일럿 스튜디오에 PC 자동 조작 기능 추가

마이크로소프트가 AI 에이전트가 웹사이트나 앱 버튼을 클릭하거나 메뉴를 선택하거나 입력 필드에 문자를 입력할 수 있는 기능인 컴퓨터 유스(computer use)를 발표했다.

AI 에이전트를 직접 제작할 수 있는 도구인 코파일럿 스튜디오(Copilot Studio)에 액세스·리서치·프리뷰 버전으로 추가된 컴퓨터 유스는 AI 에이전트에게 GUI를 조작할 수 있는 능력을 부여하는 것으로 데스크톱 애플리케이션 상의 다양한 버튼이나 필드에 AI 에이전트가 접근할 수 있게 하는 것이다. 코파일럿 스튜디오에서 컴퓨터 유스를 사용하면 데스크톱 앱과 브라우저 앱 모두에서 GUI를 인식하고 조작할 수 있는 AI 에이전트를 구축할 수 있다. 마이크로소프트에 따르면 컴퓨터 유스를 통해 AI 에이전트는 GUI를 갖춘 모든 시스템과 상호작용할 수 있게 된다며 이를 통해 시스템에 직접 연결할 수 있는 API가 없는 경우에도 AI 에이전트는 작업을 처리할 수 있게 되어 AI 에이전트가 버튼을 클릭하거나 메뉴를 선택하거나 화면상 필드에 입력하는 게 가능해진다. 또 추론을 사용해 앱이나 웹사이트 변경에 자동으로 적응하기 때문에 단순한 자동화 처리로는 할 수 없었던 유연한 대응이 가능하게 되어 작업이 중단되는 일은 없다고 한다.

컴퓨터 유스는 마이크로소프트가 호스팅하는 인프라스트럭처 상에서 실행되기 때문에 기업은 자체 서버를 관리할 필요가 없다. 또 기업 데이터는 마이크로소프트 서버에 저장되지만 향후 AI 모델 학습에 사용되지는 않는다. 마이크로소프트는 도입 신속화, 유지보수 경감, 인프라 비용 절감이 가능하다고 홍보하고 있다. 활용 시나리오로는 대량 데이터를 중앙 시스템에 입력하는 상황이나 여러 소스에서 시장 데이터를 자동 수집해 분석하는 상황, 청구서에서 데이터를 추출해 회계 시스템에 입력하는 상황 등에서 AI 에이전트를 통한 자동화 처리를 수행할 수 있다.

컴퓨터 유스 설정에 코딩은 필요 없으며 자연어로 지시를 내리고 동영상으로 프롬프트를 테스트하여 개선할 수 있다. 또 AI가 캡처한 스크린샷이나 추론 단계 등 활동 이력을 자유롭게 볼 수도 있다. 컴퓨터 유스에 대해서는 오는 5월 개최되는 개발자 이벤트인 마이크로소프트 빌드(Microsoft Build)에서도 자세히 소개될 예정이다. 관련 내용은 이곳에서 확인할 수 있다.

정용환 기자

대기업을 다니다 기술에 눈을 떠 글쟁이로 전향한 빵덕후. 새로운 기술과 스타트업을 만나는 즐거움을 독자들과 함께 나누고 싶습니다.

뉴스레터 구독