이석원 기자
오픈AI가 발표한 대화형 채팅 AI인 챗GPT(ChatGPT)는 문장 생성 능력이 높은 반면 무의미한 문장도 만들어 버리는 일이 있기 때문에 코딩 Q&A 사이트 스택오버플로(Stack Overflow)에선 일시적인 사용이 금지됐다. 이런 상황에서 오픈AI 엔지니어인 스콧 아론슨이 생성된 텍스트에 워터마크를 넣는 도구를 개발하고 있다고 밝혔다.
챗GPT는 대학생 수준 시험 자유 기술 문제에 합격했다는 사례가 보고되기도 했다. 이는 뒤집으면 챗GPT에 테스트 문제를 줘서 대신 답을 받는 컨닝을 수 있다는 것이 될 수 있고 그 밖에 고품질 피싱 이메일이나 멀웨어 작성에 악용될 우려도 있다. 또 챗GPTW를 사용할 때 주의사항에 열거되듯 실제로는 무의미한 회답을 들려주는 일도 있다.
이런 문제로 인해 필요하다고 생각되는 게 챗GPT 등 AI가 생성한 문장을 판별 가능한 워터마크를 넣는 것이다. 챗GPT에서도 사용되는 GPT(Generative Pre-trained Transformer)에 있어 입력이란 일련의 N개 단어를 말하며 토큰이라고도 부른다. 출력은 토큰 마지막에 배치될 가능성이 높다고 추측되는 단어를 말한다.
GPT는 이전 토큰 문자열을 조건으로 해 다음에 생성할 토큰 확률 분포를 항상 생성한다. 신경망이 분포를 생성하면 오픈AI 서버가 분포에 따라 토큰을 샘플링한다. 또는 매개변수에 따라 분포를 수정하고 샘플링한다. 이 파라미터가 0이 아닌 한 샘플링 결과는 어느 정도 무작위성을 가지며 매번 다른 토큰을 얻을 수 있다.
아론슨에 따르면 워터마크를 넣을 때 다음 토큰을 완전히 무작위로 선택하는 게 아니라 오픈AI만이 개인키를 아는 암호 의사 랜덤 함수를 사용해 토큰을 의사 무작위로 선택하게 된다는 것. 최종 사용자가 출력할 때 난수가 참인지 의사 랜덤인지 분별할 수 없어도 개인키를 알고 있으면 GPT가 생성한 걸 알 수 있다는 것이다.
덧붙여 오픈AI가 서버를 제어하고 있다면 일부러 워터마크를 넣지 않아도 되는 건 아닐까 당연히 의문이 나올 수 있다. 이에 대해 아론슨은 GPT를 누가 어떻게 이용하고 있는지 비밀로 하면서 GPT가 특정 텍스트를 생성했는지 아닌지 어떻게 밝히겠냐는 말로 어려움을 지적하고 있다.
그에 따르면 이미 오픈AI 엔지니어 등에 의해 워터마크 툴 프로토타입이 있으며 꽤 잘 기능하고 있다고 한다. 또 미래에는 GPT 뿐 아니라 달리(DALL·E)에 대해서도 워터마크를 넣으려 생각하고 있다고 한다. 이미지에 워터마크를 넣는 것으로 생각해볼 만한 건 픽셀 레벨이지만 제거하는 게 간단하기 때문에 개념 수준에서 워터마크를 넣을 생각이라고 한다. 다만 잘 작동하는지는 아직 불분명하다고 한다. 관련 내용은 이곳에서 확인할 수 있다.
정용환 기자
