플레이스테이션5(PS5) 리드 아키텍트인 마크 서니가 플레이스테이션5 프로(PS5 프로)에 탑재된 강화 버전 GPU, 강화 버전 레이트레이싱, AI 초해상도 기술에 대해 설명하는 영상이 공개됐다. 아울러 소니인터랙티브엔터테인먼트(SIE)와 AMD가 제휴를 강화해 AI 아키텍처와 뉴럴 네트워크를 개발하는 아메시스트(AMETHYST)라고 불리는 프로젝트를 진행하고 있다는 것도 밝혀졌다.
PS5 프로 개발 계획은 PS5 출시 전인 2020년부터 시작됐다고 한다. 계획 당시부터 GPU 강화, 레이트레이싱 강화, AI를 이용한 초해상도(PSSR) 3가지가 중점 과제로 설정됐다.
PS5 프로는 시스템 메모리로 대역폭 576GB/s GDDR6 메모리를 탑재하고 있다. PS5 프로는 8K 출력에 대응하기 위해 많은 메모리가 필요할 뿐만 아니라, PSSR의 내부 버퍼에 수백 MB, 레이트레이싱에도 수백 MB 메모리가 필요하다. 이를 위해 비교적 저속인 DDR5 메모리도 탑재하고 OS 대부분을 DDR5 메모리로 이동시켜 게임 처리에 고속 메모리를 할당할 수 있도록 하고 있다.
PS5에는 AMD RDNA 2 GPU를 탑재했지만 PS5 프로에는 여러 버전 RDNA를 조합한 HYBRID RDNA GPU가 탑재되어 있다. 또 PS5는 WGP(Work Group Processor)라는 서브유닛을 18기 탑재했지만 PS5 프로에서는 WGP 수가 30기로 증가했다.
HYBRID RDNA GPU 기반 기술은 RDNA 2와 RDNA 3 중간에 위치하는 것으로 RDNA 2.x라고 불린다. 또 레이트레이싱에는 미래 RDNA에 사용될 기술을 세계에서 처음으로 채용했으며 AI 처리용으로 커스텀 사양 RDNA도 포함되어 있다.
PS5 프로가 RDNA 3를 완전히 채용하지 않은 이유는 호환성 유지에 있다. RDNA 2와 RDNA 3는 셰이더 프로그램이 다르기 때문에 만일 PS5 프로에 RDNA 3를 채용하면 게임 개발자가 PS5와 PS5 프로용으로 별도 코드를 준비해야 하는 상황이 발생하게 된다.
따라서 셰이더 프로그램은 RDNA 2 것을 유지하면서 RDNA 3 지오메트리 파이프 일부를 도입해 정점 처리와 프리미티브 처리를 고속화했다. 이게 RDNA 2.x다.
PS5 프로는 PS5와 비교해 WGP 수가 1.67배로 향상됐으며 초당 부동소수점 연산 횟수도 1.67배인 16.7FLOPS로 향상됐다. 다만 실제 게임 처리 시에는 메모리 대역폭이나 각종 게임 엔진이 새로운 아키텍처에 어떻게 반응하는가와 같은 요소가 얽혀있기 때문에 게임 렌더링 성능이 그대로 1.67배가 되는 건 아니다.
서니에 따르면 실제 게임 렌더링 성능은 최대 1.45배로 향상됐다고 한다. 예를 들어 PS5에서 60fps 동작 시 16밀리초가 걸리는 렌더링 처리는 프로에서는 11밀리초에 실행 가능하며 남은 5밀리초를 사용해 레이트레이싱 등 다른 처리를 실행할 수 있다.
PS5 프로에서는 레이트레이싱 처리 성능도 강화됐다. PS5 프로 개발 시작 전부터 레이트레이싱은 유행 조짐을 보였지만 계산 비용이 매우 높다는 문제도 있었다. 이를 위해 개발팀은 레이트레이싱 계산 고속화를 최우선 사항 중 하나로 설정했다고 한다. 최종적으로 AMD와 협력하여 미래 레이트레이싱 기능을 PS5 프로에 처음으로 탑재하게 됐다. 이로 인해 PS5 프로는 PS5와 비교해 레이트레이싱 계산 속도가 2배~3배로 향상됐다.
보통 레이트레이싱 처리에서는 오브젝트를 무수한 삼각형으로 분할하고 각 광선이 삼각형에 어떻게 반응하는가를 계산한다. PS5와 PS5 프로에서는 삼각형을 박스라고 불리는 단위로 분할해 처리를 효율화하고 있다.
PS5와 PS5 프로는 각 WGP 내 인터섹션 엔진(Intersection Engine)을 사용해 광선 궤적을 계산하고 있다. PS5의 경우는 BVH4라고 불리는 가속 구조를 사용하며 인터섹션 엔진은 1사이클마다 최대 4개 박스 또는 삼각형 1개에 대한 광선을 계산할 수 있었다. PS5 프로에서는 BVH8이라는 가속 구조를 채용해 1사이클마다 최대 8개 박스 또는 2개 삼각형을 계산할 수 있다.
또 PS5 프로에서는 스택 관리를 하드웨어에서 실행해 레이트레이싱 처리 효율을 높이고 있다. PS5 시리즈 WGP는 한 번에 32개 또는 64개 항목을 처리할 수 있다. 32개 처리 내용이 모두 같은 경우는 고속 처리가 가능하지만 처리 내용이 다르면 처리 시간이 길어진다. 이때 내용이 비슷한 상태 처리를 코히어런트 처리, 내용이 제각각인 처리를 다이버전트(분기) 처리라고 부른다.
레이트레이싱에서는 광선이 닿는 대상에 따라 분기 정도가 변화하며 곡면 등 분기 정도가 크면 처리에 시간이 걸리게 된다.
PS5에서는 스택 관리를 셰이더 프로그램 내에서 실행했지만 프로에서는 하드웨어에서 스택 관리를 하도록 됐다. 이로 인해 셰이더 프로그램이 단순화되고 분기 정도가 감소했다.
셰이더 프로그램 단순화에 따라 레이트레이싱 처리 분기 정도가 큰 상황에서도 PS5와 비교해 고속 처리가 가능하게 됐다.
PS5 프로 핵심 기능 중 하나가 AI를 이용한 초해상도 기술 PSSR이다. PSSR은 간단히 설명하면 4K보다 작은 해상도의 프레임을 렌더링하고 이 렌더링 결과를 AI로 확대해 4K로 보이게 하는 것으로 렌더링에 걸리는 부하가 작아져 고속하고 고품질한 화면 묘사가 가능하게 된다.
PSSR 처리는 크게 전처리, CNN을 이용한 확대 처리, 후처리로 나뉜다. CNN은 초당 수백 조 회 연산을 수행하기 때문에 고성능 처리 프로세서가 필요하다.
CNN을 고속으로 실행 가능하게 하는 방법으로는 GPU에 AI 처리 기능을 포함시키는 방법 외에도 AI 처리 전용 NPU를 추가하는 접근 방식도 있다. PSSR에서는 CNN 외에도 전처리와 후처리가 필요하지만 NPU는 이런 처리를 잘 하지 못한다. 이 때문에 PS5 프로에서는 NPU를 탑재하지 않고 GPU 기능을 강화하기로 결정했다.
2020년에 PS5 프로를 개발하기 시작한 단계에서 개발팀은 고품질 뉴럴 네트워크와 하드웨어 필요성을 인식했다고 한다. 이들을 준비하는 데는 다른 기업으로부터 기술 라이선스를 구매하는 방법도 있었지만 SIE는 AMD와 협력해 독자 하드웨어와 뉴럴 네트워크를 구축하기로 했다고 한다.
AMD와의 협력 결과 300TOPS 정수 연산 성능을 갖춘 GPU가 사용 가능하게 됐지만 PS5 프로에 탑재된 대역폭 576GB/s GDDR6 메모리로는 대역폭이 부족해 300TOPS 중 최대 18TOP밖에 활용할 수 없었다고 한다.
사실 RDNA 2 GPU에는 고속 데이터 전송이 가능한 벡터 레지스터가 탑재되어 있다. 그래서 AMD와 협력해 새로운 명령어 44개를 추가하고 WGP 내 벡터 레지스터를 메모리로 활용할 수 있도록 했다. 이로 인해 PS5 프로에서 200TB/s라는 초고속 메모리를 합계 15MB 사용해 300TOPS 정수 연산 성능을 충분히 활용할 수 있게 됐다.
이런 공들인 결과로 PS5 프로 정수 연산 성능은 300TOPS, 부동소수점 연산 성능은 67TFLOPS에 도달했다. 또 PSSR은 가정용 게임기만의 특징을 갖추고 있다. 보통 PC 게임에서는 렌더링 해상도가 고정되어 부하가 높은 장면에서는 묘사 프레임레이트를 낮추는 동작을 하지만 가정용 게임기에서는 묘사 프레임레이트를 고정하고 부하가 높은 장면에서는 렌더링 해상도를 낮추는 동작을 한다고 한다. PSSR은 렌더링 해상도가 변동하는 동작에 최적화되어 있다고 한다.
서니는 SIE의 향후 기술 혁신에 대해서도 언급했다. 그에 따르면 래스터라이즈 렌더링에 대해서는 기술이 충분히 발달되어 있어 GPU 강화나 메모리 고속화와 같은 순차적인 진보만이 기대되고 있다고 한다. 반면 레이트레이싱 분야는 앞으로도 급속한 발전이 예상되고 있으며 AI 분야도 큰 진보가 기대되고 있다. SIE는 이 중에서도 AI 개발에 중점을 두고 있다.
PS5 프로에서는 AI를 이용한 초해상도가 가능하게 됐지만 앞으로는 노이즈 제거나 프레임 보간 등 AI 기술 연구도 진행하고 있다고 한다. 더 나아가 SIE는 게임 특화 기계학습 아키텍처 개발과 게임 특화 CNN 개발을 목적으로 AMD와의 연계를 강화했다. 이 연계 강화 프로젝트는 AMD 테마컬러인 빨간색과 플레이스테이션 테마 컬러인 파란색을 섞은 것으로 아메시스트라고 불린다. 또 아메시스트 프로젝트는 플레이스테이션 전용 기술을 개발하는 게 아니라 다양한 디바이스에서의 기계학습 활용을 지원하는 걸 목적으로 하고 있다고 한다. 관련 내용은 이곳에서 확인할 수 있다.