프롬프트 엔지니어링도 AI로 구축되고 있다

프롬프트 엔지니어링은 의도한 출력을 얻기 위해 AI에 대한 명령문인 프롬프트를 조정하는 행위를 말한다. 지금까지 프롬프트 엔지니어링은 인간 엔지니어에 의해 이뤄져 왔지만 프롬프트 작성 자체에도 AI 를 사용하는 게 성능이 높아진다는 연구 결과가 발표됐다.

챗GPT 등장 이후 프롬프트를 고안해 AI 출력을 개선하려는 시도가 다수 이뤄져 왔다. 이에 따라 모델이나 데이터세트 등에 따라 변화하는 적절한 프롬프트를 찾는 전문가로 프롬프트 엔지니어가 등장했다.

하지만 2024년 2월 20일 발표된 논문에 따르면 AI에 의한 프롬프트 엔지니어링이 효과적인 게 시사되고 프롬프트 엔지니어라는 직업이 AI에 대체될 가능성이 표면화됐다. 연구팀은 AI 모델 3개에 초등학교 산수 문제를 풀게 하는 태스크에 대해 각각 다른 프롬프트 60개를 준비해 결과를 비교했다고 한다. 추론을 단계적으로 설명하라는 사고 연쇄라고 불리는 테크닉이 유효하게 일할 때도 있으면 반대로 퍼포먼스가 악화되는 경우도 있어 연구팀은 최적의 프롬프트는 모델과 데이터세트마다 다를 수 있다고 지적했다.

따라서 프롬프트 엔지니어링은 최적의 기술에 대한 일관성이 없으며 시행착오가 필요하다. 여기에서 연구팀은 프롬프트를 자동 생성하는 도구를 작성해 프롬프트에 의한 출력 결과를 평가해 평가를 바탕으로 다시 툴로 프롬프트를 작성한다는 루프를 실시했다. 그 결과 인간이 프롬프트 엔지니어링을 실시하는 경우보다 시간이 며칠에서 몇 시간으로 단축되는 동시에 최종 AI 출력 결과도 개선됐다고 한다.

한편 인텔랩 등 연구자가 뉴로프롬프트(NeuroPrompts)라는 프롬프틀 자동 강화 툴을 만들었다. 이 도구는 이미지 생성 AI인 스테이블디퓨전에 대해 인간이 만든 프롬프트를 입력하기 전에 AI가 적절한 프롬프트를 자동 추가하고 입력하는 것이다. 개발팀은 이런 프롬프트 최적화를 조사하고 기본 모델 자체에 통합해 복잡한 프롬프트 엔지니어링 단계를 필요로 하지 않는 게 중요하다며 앞으로 프롬프토 엔지니어가 더 이상 필요하지 않을 것이라는 생각을 밝혔다. 관련 내용은 이곳에서 확인할 수 있다.