결론부터 말씀드립니다. 녹화만 켜면 프레임이 뚝뚝 떨어진다면 컴퓨터 사양이 부족해서가 아닙니다. 원인의 대부분은 영상 인코더 종류입니다. 기본값으로 잡힌 x264(소프트웨어) 인코더는 게임이 쓰는 바로 그 CPU를 빌려 영상을 압축하기 때문에, 게임과 녹화가 같은 자원을 두고 싸웁니다. GPU 전용 인코더인 NVENC로 바꾸면 이 다툼이 사라지고 프레임이 거의 그대로 회복됩니다.
실제 수치로 보면 차이가 분명합니다. x264 veryfast 프리셋으로 녹화하면 게임 프레임이 약 17% 깎이는데, 144프레임 환경에서는 평균 20~30프레임이 날아가는 셈입니다. 반면 NVENC는 인코딩을 GPU 안의 별도 칩이 처리하기 때문에 같은 조건에서 손실이 한 자릿수에 그칩니다. 아래 순서대로만 따라오시면 됩니다.
1순위: 인코더를 x264에서 NVENC로 바꾸기
가장 먼저, 그리고 가장 큰 효과를 보는 작업입니다. OBS 기준으로 설정 > 출력 > 출력 모드를 고급으로 바꾼 뒤 녹화 탭의 인코더 항목을 확인하세요. 여기가 x264(소프트웨어)로 되어 있다면 이게 프레임을 잡아먹는 주범입니다.
- 엔비디아 그래픽카드(GTX 16xx, RTX 전 세대): NVENC H.264 또는 NVENC HEVC 선택
- AMD 그래픽카드(RX 시리즈): AMD HW H.264(AVC) 선택
- 인텔 내장그래픽(아이리스 Xe 이상): QuickSync H.264 선택
인코더만 NVENC로 바꿔도 CPU가 하던 압축 연산이 GPU 전용 인코딩 칩으로 통째로 넘어갑니다. 이 칩은 게임을 그리는 쿠다 코어와 물리적으로 분리돼 있어서, 녹화를 켜도 게임 렌더링에 거의 영향을 주지 않습니다. 발로란트나 리그 오브 레전드처럼 프레임 민감도가 높은 경기에서 체감 차이가 가장 큽니다.
2순위: NVENC를 못 쓸 때, x264 프리셋과 해상도·FPS 낮추기
전용 그래픽카드가 없어서 x264를 어쩔 수 없이 써야 한다면, CPU 부담을 줄이는 방향으로 조정합니다. 설정 > 출력 > x264 설정에서 CPU 사용 프리셋을 기본값인 veryfast에서 superfast나 ultrafast로 한 단계 낮추세요. 프리셋이 빠를수록 CPU를 덜 쓰지만 같은 화질을 유지하려면 비트레이트를 조금 더 올려야 합니다.
그래도 버겁다면 녹화 자체의 부하를 내립니다. 인코더가 처리해야 할 픽셀 수와 프레임 수를 줄이는 게 핵심입니다.
- 해상도: 설정 > 비디오 > 출력(조정된) 해상도를 1920x1080에서 1280x720으로 낮추면 인코딩 부하가 절반 이하로 줄어듭니다.
- 프레임률: 공통 FPS 값을 60에서 30으로 내리면 초당 처리할 프레임이 절반이 됩니다.
- 게임 프레임 제한: 게임 안에서 프레임을 60 또는 120으로 묶으면 GPU에 여유가 생겨 인코딩이 안정됩니다.
원인별로 보는 빠른 진단
증상에 따라 어디를 먼저 건드릴지 정리했습니다. OBS의 인코딩 오버로드 경고가 뜨는지, CPU만 치솟는지, GPU가 100%인지를 작업 관리자로 확인한 뒤 맞는 줄을 보세요.
- 녹화 켜자마자 프레임 폭락 + CPU 사용률 급증 → x264 사용 중. NVENC로 전환(1순위)
- 인코딩 오버로드 경고가 자주 뜸 → 프리셋을 ultrafast로, 해상도·FPS 다운(2순위)
- GPU가 이미 99~100%로 꽉 참 → 게임 그래픽 옵션을 한 단계 낮춰 인코딩용 여유 확보
- 프레임은 멀쩡한데 녹화 파일만 끊김 → 저장 디스크가 느린 경우, SSD로 저장 경로 변경
- PUBG·배틀그라운드처럼 무거운 게임에서만 드랍 → 게임 프레임 제한 + NVENC 병행
x264와 NVENC, 무엇이 다른가
두 인코더의 차이를 알면 왜 NVENC가 답인지 명확해집니다. 과거에는 x264 화질이 더 좋다는 인식이 있었지만, 튜링 세대 이후의 NVENC는 x264 medium 프리셋급 화질을 내면서도 게임 프레임은 거의 손대지 않습니다. 격렬한 움직임이 많은 장면에서는 오히려 NVENC 쪽 잔상이 적다는 평가도 나옵니다.
- x264: CPU로 압축 → 게임과 자원 경쟁 → veryfast 기준 약 17%, 평균 20~30프레임 손실
- NVENC: GPU 전용 칩으로 압축 → 게임 렌더링과 분리 → 한 자릿수 프레임 손실
- 화질: 최신 NVENC는 x264 medium 수준, 고화질 액션 장면에서 강함
- 설정 난이도: x264는 프리셋·비트레이트 수동 튜닝 필요, NVENC는 사실상 기본값으로 충분
설정이 번거롭다면: 도르는 NVENC가 기본
여기까지 읽고 느끼셨겠지만, OBS는 인코더를 직접 찾아 바꾸고 프리셋과 비트레이트를 손으로 맞춰야 합니다. 한 번 잘못 잡으면 녹화할 때마다 프레임이 새는 것도 모른 채 플레이하게 됩니다. 도르(DOR)는 이 과정을 아예 없앴습니다. NVENC 하드웨어 인코딩이 처음부터 기본값으로 잡혀 있어, 설치하고 켜면 별도 설정 없이 저부하로 녹화됩니다.
덕분에 발로란트나 오버워치처럼 한 프레임이 승패를 가르는 게임에서도 녹화를 상시 켜둔 채 플레이할 수 있습니다. 명장면이 나오면 그때 잘라 저장하면 되니, 인코더 설정과 씨름하느라 시간을 쓸 필요가 없습니다. FPS 드랍 걱정 없이 녹화부터 켜고 싶다면 도르가 가장 빠른 길입니다.
정리하면, 녹화 시 FPS가 떨어질 때 순서는 단순합니다. 인코더를 NVENC로 바꾸고, 그게 안 되면 프리셋과 해상도·FPS를 내리고, 그래도 번거롭다면 NVENC가 기본인 도구를 쓰는 것입니다. 사양을 탓하기 전에 인코더부터 확인하세요. 대부분 거기서 끝납니다.
