소프트웨어 개발 플랫폼인 깃허브(GitHub)에서 2021년 도입된 깃허브 코파일럿(GitHub Copilot)은 작성 중인 코드를 자동 완성해주는 기능으로 이전 조사에서는 코딩 속도가 최대 55% 향상된 것으로 나타났다. 그렇다면 코드의 품질은 어떨까. 실제로 좋은 코드가 되고 있는지 깃허브 공식 블로그가 조사 결과를 보고했다.
깃허브 코파일럿은 소스 코드 자동 완성 기능으로 2021년 발표되어 2022년부터 모든 사용자가 이용할 수 있게 됐다.
초기 사용자를 대상으로 한 2022년 조사에 따르면 사용자 88%가 생산성이 향상됐다고 응답했다. 자바스크립트에 능숙한 개발자를 깃허브 코파일럿 사용 그룹과 미사용 그룹으로 나눠 HTTP 서버 구축을 수행하게 했을 때 깃허브 코파일럿을 사용한 개발자 평균 작업 시간은 1시간 11분이었던 반면 사용하지 않은 개발자 작업 시간은 2시간 41분으로 작업 속도가 55% 향상된 것으로 나타났다.
이번 조사는 경력 5년 이상 개발자 202명을 대상으로 웹 서버 API 엔드포인트를 만드는 작업을 수행하는 것이었으며 절반은 깃허브 코파일럿을 사용하고 절반은 사용하지 않았다.
작성된 코드를 검증한 결과 깃허브 코파일럿을 사용한 개발자 코드는 단위 테스트 10개를 모두 통과하는 비율이 56% 더 높았다. 또 코드에 포함된 오류 수도 깃허브 코파일럿을 사용할 때 4.63개였던 것에 비해 미사용 시에는 5.35개였다. 오류가 없는 코드 행 수는 깃허브 코파일럿을 사용할 때 18.2행, 미사용 시 16.0행이었다.
더불어 조사에 참여한 개발자 중 단위 테스트를 모두 통과한 코드를 작성한 개발자 10명에 의해 누가 어떤 코드를 작성했는지 모르는 상태에서의 코드 리뷰도 진행됐다. 그 결과 평가 항목 가독성에서 3.62%, 신뢰성에서 2.94%, 유지보수성에서 2.47%, 간결성에서 4.16%, 깃허브 코파일럿 사용 코드가 더 높은 평가를 받았다.
이런 결과를 토대로 깃허브는 깃허브 코파일럿이 고품질 코드 생성에 도움이 된다고 결론을 내렸다. 고품질 코드가 된 요인으로는 깃허브 코파일럿 사용 그룹이 커밋 수와 코드 행은 크게 많았지만 평균 커밋 크기는 조금 적었다는 점에서 작동하는 코드를 작성하는 데 드는 시간이 줄어들어 코드 전체 품질을 향상시키는 데 시간을 사용할 수 있었다고 추측된다며 이는 선행 연구에서 깃허브 코파일럿을 사용해 자신감 있게 일할 수 있다는 응답이 많았다는 결과와 일치한다고 깃허브 측은 설명하고 있다. 관련 내용은 이곳에서 확인할 수 있다.