대화형 AI인 챗GPT는 자연스러운 문장을 생성하지만 인간이 요구하는 대답을 잘 이끌어내려면 요령이 필요하다. 오픈AI는 GPT 모범 사례라는 제목으로 챗GPT에 사용되는 모델인 GPT에서 더 나은 결과를 얻기 위한 6가지 전략을 공개하고 있다.
첫째 명확한 지시 작성. 복잡한 태스크를 더 단순한 분할 쓰기로 관련성 높은 답변을 얻으려면 사용자가 문장을 입력할 때 중요한 정보를 올바르게 제공해야 한다. 예를 들어 대통령은 누구냐는 질문보다는 2021년 멕시코 대통령은 누구냐 선거를 얼마나 자주 진행하냐고 말하는 게 좋다.
또 따옴표나 XML 태그 등 구분자를 이용하면 GPT가 문자를 어떻게 처리해야 할지 알기 쉬워진다. 이를 통해 사용자 의도가 어디에 있으며 GPT가 어떤 대답을 어떻게 출력해야 할지 알려주는 게 중요하다는 것이다.
작업이 복잡할수록 명확하게 지시하는 게 중요하다. 또 구체적인 절차를 지정하는 것도 도움이 될 수 있다. 예를 들어 1단계, 사용자가 따옴표로 묶는 문장을 제공하니 이 문장에 개요 : 접두사를 붙여 한 문장으로 정리해달라. 2단계 1단계 개요를 스페인어로 번역해 번역 : 접두사를 붙여달라는 식 지시다. 그 밖에 50단어로 요약해달라거나 3개 글머리 기호로 요약해달라는 등 구체적인 숫자를 제시하는 지시도 유효하다.
둘 때 참고 텍스트 제공. 다음 논문에 기재된 문장만을 이용해 질문에 답해달라는 것처럼 체계적인 정보를 GPT에 제공하면 GPT는 제공 정보를 사용해 대답을 구성하려 한다. 하지만 GPT에 한 번에 주어진 문장 문자 수가 제한되어 있기 때문에 오픈AI가 제공하는 임베디드라는 관련성 검색 시스템을 사용하는 게 좋다.
셋째 복잡한 태스크를 더 단순한 서브 태스크로 분할하는 것. 사용자가 말하는 모호하고 복잡한 질문을 그대로 GPT에게 하는 게 아니라 질문을 분할해 GPT에게 전달해 에러 확률을 억제할 수 있다.
넷째 GPT에 생각할 시간을 주는 것. GPT에 어떤 과제에 대해 학생에게 이런 답변이 있었다며 맞냐고 물어보고 학생 대답이 올바른지 판단해달라고 하듯 GPT에 생각하는 시간을 주는 게 실수를 줄일 수 있다고 한다.
5번째는 외부 도구를 이용하는 것. GPT만으론 긴 문장이나 계산식을 처리할 수 없기 때문에 임베디드나 외부 서비스 API를 이용해 대답을 출력시키는 것도 효과적이다.
마지막은 퍼포먼스 테스트 실시. 기존 질문에 더 새로운 질문을 추가하면 답변 품질이 저하될 수도 있다. 이런 변경이 시스템을 좋게 할지 나쁘게 할지 구별하기 어렵다면 오픈AI 평가 도구(OpenAI Evals) 등을 이용해 효과적인 질문을 검토할 수 있다. 관련 내용은 이곳에서 확인할 수 있다.