결론부터 말합니다. 게임을 직접 하면서 그 화면을 녹화한다면 NVENC(GPU 인코딩)를 고르세요. 게임은 안 돌리고 영상 보관용으로 최고 화질을 뽑아야 하거나, GPU가 약하고 CPU가 남아돈다면 x264(CPU 인코딩)를 고르세요. 이 한 줄이 90% 상황의 정답입니다.
둘의 핵심 차이는 '인코딩 작업을 누가 떠안느냐'입니다. NVENC는 엔비디아 그래픽카드 안에 박힌 전용 인코딩 칩이 영상 압축을 처리하고, x264는 CPU가 소프트웨어로 압축을 계산합니다. 같은 PC에서 게임도 CPU·GPU를 쓰기 때문에, 인코딩 부하가 어디로 가느냐가 게임 프레임 손실로 바로 이어집니다.
한눈에 보는 NVENC vs x264 비교표
- NVENC, 부하 위치: GPU 전용 인코딩 칩 / 프레임 영향: 거의 없음(전용 칩이라 게임 렌더링과 분리) / 화질: RTX 기준 x264 medium과 동급 이상 / 추천: 게임하며 실시간 녹화·스트리밍, 단일 PC
- x264(빠른 프리셋·veryfast), 부하 위치: CPU / 프레임 영향: 중간(코어 여유 없으면 끊김) / 화질: medium 수준 / 추천: GPU 약하고 CPU 여유 있을 때
- x264(느린 프리셋·slow), 부하 위치: CPU(매우 높음) / 프레임 영향: 큼(게임 동시 구동 시 프레임 급락) / 화질: 최상급 / 추천: 게임 안 돌리는 보관용 최고화질, 별도 녹화 전용 PC
표를 풀어 말하면 이렇습니다. NVENC는 GPU 안 별도 구역이 인코딩을 전담해서, 게임 렌더링용 GPU 자원과 거의 겹치지 않습니다. 그래서 녹화를 켜도 게임 프레임이 거의 그대로 유지됩니다. 반면 x264는 CPU가 게임 로직과 인코딩을 동시에 떠안기 때문에, 코어가 부족하면 프레임 타임이 출렁이고 끊김이 생깁니다. 발로란트나 배틀그라운드처럼 순간 프레임이 승패를 가르는 게임에서 이 차이는 체감이 큽니다.
화질, 정말 x264가 더 좋은가
예전 NVENC는 화질이 떨어진다는 인식이 있었지만, 2018년 튜링(RTX 20 시리즈) 이후의 '신형 NVENC'부터는 이야기가 달라졌습니다. 같은 비트레이트에서 RTX의 NVENC는 x264 medium 프리셋과 동급이거나 더 깨끗한 화면을 뽑습니다. 특히 작은 그래픽 디테일을 잡아내는 데서 NVENC가 더 선명한 경우가 많습니다.
x264가 이기는 지점은 'slow' 같은 느린 프리셋을 쓸 때입니다. 텍스트 가장자리가 조금 더 또렷하게 살아납니다. 다만 slow 프리셋은 CPU를 극한으로 쓰기 때문에 게임을 같이 돌리는 단일 PC에서는 현실적으로 못 씁니다. 게임 끄고 영상만 인코딩하는 보관 작업일 때만 의미가 있습니다.
OBS에서 인코더 바꾸는 법
- OBS 우하단 '설정' 버튼을 누릅니다.
- 왼쪽 메뉴에서 '출력'을 선택합니다.
- 상단 출력 모드를 '고급'으로 바꿉니다. (기본 모드에서는 인코더 선택지가 제한됩니다.)
- '녹화' 탭(스트리밍이면 '스트리밍' 탭)으로 이동합니다.
- '인코더' 드롭다운에서 NVENC 계열(NVIDIA NVENC H.264 / HEVC / AV1) 또는 x264를 고릅니다.
- 비트레이트와 프리셋을 설정하고 '적용'을 누른 뒤 OBS를 다시 시작합니다.
인코더 드롭다운에 NVENC 항목이 아예 안 보인다면, 엔비디아 그래픽카드가 없거나 그래픽 드라이버가 오래된 경우입니다. 지포스 익스피리언스 또는 엔비디아 앱에서 드라이버를 최신으로 올린 뒤 OBS를 재시작하면 항목이 나타납니다.
그런데 이 선택을 꼭 직접 해야 할까
여기까지 읽었다면 눈치챘겠지만, NVENC와 x264 비교는 결국 '게임 프레임을 지키려면 GPU 인코딩을 써야 한다'는 한 문장으로 수렴합니다. 문제는 OBS에서 출력 모드를 고급으로 바꾸고, 인코더를 찾아 고르고, 코덱과 프리셋까지 맞추는 과정 자체가 처음 쓰는 사람에겐 진입장벽이라는 점입니다.
도르(DOR)는 이 선택과 세팅 자체를 없앴습니다. 도르는 NVENC 하드웨어 인코딩이 기본 적용되어, 설치하고 녹화 버튼만 누르면 GPU 전용 칩으로 인코딩합니다. 인코더가 뭔지, 프리셋이 뭔지 몰라도 게임 프레임 손해를 최소화한 상태로 녹화가 시작됩니다. 발로란트나 오버워치 한 판 안에서 인코더 설정을 만질 일이 없습니다.
게임별 녹화 세팅이 궁금하다면 발로란트 녹화 가이드, 배틀그라운드 녹화 가이드, 오버워치 녹화 가이드를 참고하세요. 어떤 게임이든 도르는 동일하게 NVENC 기반으로 동작하므로, 게임마다 인코더를 다시 고를 필요가 없습니다.
상황별 최종 정리
- 엔비디아 RTX/GTX 그래픽카드로 게임하며 녹화 → NVENC. 고민할 것 없습니다.
- GPU가 약하고 CPU 코어가 8개 이상으로 넉넉 → x264 veryfast~medium.
- 게임 안 켜고 보관용 최고화질만 뽑기 → x264 slow 또는 녹화 전용 PC.
- 설정 만지기 귀찮고 게임 프레임만 지키고 싶다 → 도르 설치 후 녹화 버튼.
