구글 AI인 제미나이(Gemini) 시리즈 중 스마트폰용 모델인 제미나이 나노(Gemini Nano)를 개발자가 앱에 통합할 수 있게 됐다는 발표가 있었다. 이를 통해 각 앱에서 사용자 데이터를 외부로 전송하지 않고 로컬에서 AI를 활용할 수 있게 된다.
10월 1일부터 제미나이 나노에 대한 실험적 접근이 개방되어 AI 개발 키트인 AI 엣지 SDK(AI Edge SDK)를 보유한 모든 안드로이드 개발자가 제미나이 나노를 사용할 수 있게 됐다. 초기에는 픽셀 9 시리즈에서 텍스트 입력을 통한 프롬프트 실험이 가능하다고 한다.
이런 처리는 서버를 호출하지 않고 기기에서 직접 수행되기 때문에 기밀성 높은 사용자 데이터를 기기 내에서만 처리할 수 있으며 인터넷 연결 없이도 모든 기능을 이용할 수 있고 추론마다 추가 비용이 발생하지 않는 등 많은 장점이 있다.
구글에 따르면 제미나이 나노와 같은 온디바이스(on-device) 생성 AI 모델은 클라우드 서버보다 적은 계산 능력으로 실행되며 챗봇처럼 모든 것을 처리하는 게 아니라 명확한 요청을 다루는 데 효과적이라고 한다. 예를 들어 특정 텍스트를 다른 표현으로 바꿔 캐주얼한 어투로 변환하거나 메시지에 대한 응답을 생성하거나, 문장을 구성 및 요약하는 사용 사례가 해당된다.
제미나이 나노는 이미 구글이 개발한 픽셀용 스크린샷 기능, 화면 읽기 기능, 녹음 앱 등에 통합되어 있으며 멀티모달 기능을 이용한 이미지 및 음성 이해에 도움을 주고 있다.
구글은 생성 AI 모델을 모바일 앱에 직접 통합하는 건 많은 계산 자원과 저장 공간을 필요로 하기 때문에 어렵다며 이런 문제를 해결하기 위해 안드로이드 새 시스템 서비스인 AI코어(AICore)를 통해 런타임, 모델, 기타 구성 요소를 직접 배포할 필요 없이 기기에서 직접 실행되는 AI 혜택을 받을 수 있다고 밝혔다.
구글에 따르면 AI코어는 데이터를 개인적으로 보호하는 PCC(Private Compute Core) 환경을 준수하며 PCC 준수 시스템 패키지와만 상호작용할 수 있고 인터넷에 직접 접근할 수 없다고 한다. 이를 통해 앱 내에서 외부와 통신하지 않고 AI를 사용할 수 있을 뿐 아니라 데이터가 다른 앱에 노출되는 위험을 줄이고 입력 데이터나 출력 기록이 저장되지 않는다는 점이 명확히 보장된다고 한다. 관련 내용은 이곳에서 확인할 수 있다.