OBS Studio는 무료에 강력하지만, 처음 켜면 설정 탭이 9개에 항목은 수십 개라 “대체 뭘 만져야 고화질로, 렉 없이 녹화되는 거지?” 하고 막막해집니다. 결론부터 말하면 전부 만질 필요가 없습니다. 인코더·속도 제어·해상도·키프레임·녹화 포맷, 이 다섯 가지만 제대로 잡으면 나머지는 기본값으로 둬도 됩니다. 아래 메뉴 경로와 권장값을 그대로 따라 입력해 보세요. 각 값이 “왜” 그 숫자인지도 같이 설명합니다.
결론부터: OBS 녹화 권장값 한 줄과 더 빠른 길
가장 빠른 순서는 출력 모드를 고급으로 바꾼 뒤 녹화 탭에서 인코더를 NVIDIA NVENC(AMD는 HW AVC, 인텔은 QuickSync), 속도 제어를 CQP 18(16~20)로, 비디오 탭에서 해상도 1920×1080·60fps(저사양은 1280×720·30fps)로, 다시 녹화 탭에서 키프레임 간격 2초와 녹화 형식 mkv(OBS 32 이상의 기본값인 하이브리드 MP4라면 그대로도 가능)로 맞춘 뒤, 마지막으로 고급 탭에서 자동 mp4 리먹스를 켜는 것입니다(각 항목의 메뉴 경로와 이유는 아래에서 순서대로 설명합니다). 설정보다 녹화 자체가 목적이라면 무료 Windows 앱 도르(DOR)가 더 빠릅니다. 지원 게임(게임 목록 참고)을 자동 감지해 NVENC 등 하드웨어 인코딩을 기본으로 풀매치를 백그라운드에서 자동 녹화하고, 게임 소리와 마이크를 함께 담아 앱 보관함에 저장하므로 인코더·비트레이트·포맷을 만질 일이 없습니다. 필요한 구간은 브라우저 클립 에디터로 잘라 dor.gg 링크로 공유하면 됩니다.
출력 모드: 고급(Advanced)으로
먼저 OBS 우측 하단 “설정” → 좌측 메뉴 “출력”으로 들어갑니다. 맨 위 “출력 모드”가 기본값으로 “단순”에 맞춰져 있을 텐데, 이걸 “고급(Advanced)”으로 바꿉니다. 단순 모드에서는 인코더와 비트레이트를 거의 만질 수 없어, 속도 제어를 CQP로 두거나 키프레임 간격을 지정하는 게 불가능합니다. 고급으로 바꾸면 상단에 “방송 · 녹화 · 오디오 · 리플레이 버퍼” 탭이 생기는데, 우리는 “녹화” 탭을 선택합니다. “방송” 탭은 트위치·유튜브 송출용이라 여기서 손대면 녹화 화질이 바뀌지 않습니다. 자주 헷갈리는 부분이니 꼭 “녹화” 탭인지 확인하세요.
인코더: NVENC(하드웨어)
이 글에서 가장 중요한 한 줄입니다. “녹화” 탭의 “인코더” 항목을, 기본값인 소프트웨어(x264)가 아니라 “NVIDIA NVENC H.264” 또는 신형 그래픽카드라면 “NVIDIA NVENC HEVC”로 바꾸세요. 둘의 차이를 이해하면 왜 렉이 사라지는지 보입니다.
x264는 CPU로 영상을 인코딩합니다. 게임도 CPU·GPU를 쓰는데 그 위에 인코딩 작업까지 CPU에 얹으면, 게임 프레임이 떨어지고 화면이 버벅입니다. 반면 NVENC는 NVIDIA 그래픽카드(GTX 10 시리즈 이상)에 따로 박혀 있는 “전용 인코딩 칩”을 씁니다. 게임 연산과 인코딩 연산이 물리적으로 분리되어 있어, 녹화를 켜도 인게임 프레임이 거의 그대로 유지됩니다. 녹화하면 렉 걸린다는 호소는 대부분 인코더를 x264에서 NVENC로 바꾸는 것만으로 해결됩니다.
인코더 선택 메뉴 경로
경로는 설정 → 출력(출력 모드: 고급) → 녹화 탭 → 인코더 드롭다운입니다. 여기서 “NVIDIA NVENC H.264”가 보이면 NVIDIA 카드가 정상 인식된 것입니다. AMD 라데온을 쓴다면 같은 자리에 “AMD HW H.264(AVC)”가, 인텔 내장그래픽·아크라면 “QuickSync H.264”가 뜹니다. 이름만 다를 뿐 모두 하드웨어 인코딩이라 원리는 같습니다. RTX 40 시리즈와 라데온 RX 7000, 인텔 아크 이상은 “AV1” 인코더도 고를 수 있는데, AV1은 같은 화질을 더 작은 용량으로 담아 저장 공간 절약에 유리합니다. 다만 일부 편집기·플랫폼 호환성을 먼저 확인하세요. 드롭다운에 NVENC가 아예 안 보이면 그래픽 드라이버가 오래된 것이니 GeForce 드라이버부터 최신으로 업데이트합니다.
비트레이트·화질: CQP 설정
인코더 바로 아래 “속도 제어(Rate Control)”를 기본값 CBR이 아니라 “CQP”로 바꾸세요. 이 둘의 차이가 녹화 화질을 결정합니다. CBR(고정 비트레이트)은 화면이 단순하든 복잡하든 초당 같은 데이터양을 욱여넣습니다. 송출(스트리밍)에는 맞지만, 녹화에서는 정적인 로딩 화면에 비트레이트를 낭비하고 정작 격렬한 교전 장면에서는 비트레이트가 모자라 화질이 뭉개집니다.
CQP(고정 화질)는 “화질 기준”을 정해 두고 장면 복잡도에 따라 비트레이트를 알아서 늘렸다 줄입니다. 움직임이 많은 순간엔 데이터를 더 쓰고 정지 화면엔 아껴, 같은 용량으로 더 일관된 화질을 얻습니다. 속도 제어를 CQP로 바꾸면 나타나는 “CQ 레벨(CQP 값)”을 16~20 사이로 두세요. 권장값은 18입니다. 이 숫자는 낮을수록 고화질·고용량, 높을수록 저화질·저용량입니다. 16은 거의 무손실에 가깝지만 파일이 커지고, 20은 용량이 가볍지만 빠른 화면에서 살짝 손실이 보입니다. 1080p 게임 영상 기준 18이면 분당 대략 150~300MB 수준으로, 화질과 용량의 균형이 가장 좋습니다.
해상도·프레임·키프레임
해상도와 프레임은 설정 → “비디오” 탭에서 잡습니다. “기본(캔버스) 해상도”와 “출력(조정된) 해상도”를 모두 1920×1080으로, “공통 FPS 값”을 60으로 둡니다. 대부분의 게임은 1080p/60fps면 충분히 선명하고, 쇼츠·유튜브 업로드에도 딱 맞습니다. 144Hz·240Hz 고주사율 모니터로 경쟁 FPS를 한다고 녹화까지 144fps로 올릴 필요는 없습니다. 녹화 fps를 올리면 GPU 인코더 부하와 파일 용량이 같이 뛰어 오히려 인게임 프레임이 흔들릴 수 있으니, 녹화는 60fps로 고정하고 게임은 고주사율 그대로 즐기는 편이 안정적입니다. 저사양 PC라면 출력 해상도만 1280×720, 30fps로 낮추면 부담이 크게 줄어듭니다.
다시 출력 → 녹화 탭으로 돌아와 “키프레임 간격(Keyframe Interval)”을 2초로 설정합니다(0으로 두면 자동인데, 편집·재생 호환을 위해 2초를 명시하는 편이 안전합니다). 키프레임은 영상을 되감거나 특정 지점으로 점프할 때 기준이 되는 “완전한 한 장면” 프레임입니다. 간격이 너무 길면 편집기에서 컷을 자를 때 프레임이 어긋나거나 탐색이 버벅이고, 너무 짧으면 용량이 늘어납니다. 2초가 호환성과 용량의 표준값입니다.
녹화 포맷: mkv 후 mp4
설정 → 출력 → 녹화 탭 맨 위 “녹화 형식”을 mp4가 아니라 “mkv(Matroska)”로 두세요. mp4로 직접 녹화하면, OBS가 도중에 비정상 종료되거나 게임이 멈춰 강제 종료될 때 파일 전체가 깨져 1~2시간 분량이 통째로 날아갈 수 있습니다. mp4는 녹화가 정상적으로 끝나는 순간 파일 끝에 인덱스를 써야 재생되는데, 그 인덱스가 없으면 통째로 못 읽기 때문입니다. mkv는 도중에 끊겨도 그 직전까지 녹화된 부분이 멀쩡히 살아남습니다. 2026-09-15 확인 기준, OBS 30.2에서 도입된 “하이브리드 MP4(Hybrid MP4)”는 녹화 중 비정상 종료돼도 파일이 복구되도록 설계됐고, OBS 32.0부터는 새 프로필의 기본 녹화 형식입니다. 녹화 형식이 이미 하이브리드 MP4라면 그대로 두어도 되며, 이 글의 mkv 녹화 후 리먹스 방식은 그 이전 버전이거나 일반 MP4(MPEG-4)를 고른 경우를 기준으로 합니다.
문제는 mkv를 프리미어·다빈치 같은 일부 편집기나 SNS 업로드에서 바로 못 읽는 경우가 있다는 점입니다. 그래서 녹화는 mkv로 안전하게 받고, 끝난 뒤 OBS 상단 메뉴 “파일” → “녹화 다시 포장(Remux Recordings)”에서 mkv를 mp4로 변환하면 됩니다. 리먹스는 재인코딩이 아니라 컨테이너만 바꾸는 작업이라 화질 손실이 전혀 없고 몇 초 만에 끝납니다. 설정 → 고급(Advanced) → “녹화” 항목에서 “자동으로 mp4로 리먹스” 옵션을 켜 두면 이 과정을 OBS가 알아서 해 줍니다. 출력 탭이 아니라 고급 탭에 있으니 헷갈리지 마세요.
오디오 설정
설정 → “오디오” 탭에서 “데스크톱 오디오”(게임·디스코드 소리)와 “마이크/보조 오디오”(내 목소리)를 각각 지정합니다. 그다음 출력 → 녹화 탭의 “오디오 트랙”에서 데스크톱은 트랙 1, 마이크는 트랙 2처럼 분리해 녹음하도록 체크하세요. 트랙을 분리해 두면 편집할 때 게임 소리는 키우고 내 마이크만 줄이거나, 반대로 해설만 키우는 식으로 두 소리를 따로 조절할 수 있습니다. 하나로 합쳐 녹음하면 나중에 둘을 떼어낼 수 없으니, 편집을 염두에 둔다면 트랙 분리는 필수입니다.
검은 화면·렉 문제 해결
설정을 다 맞췄는데 녹화 파일이 검은 화면으로만 저장된다면, 게임의 화면 모드가 “전체 화면(Exclusive Fullscreen)”인 경우가 대부분입니다. 전체 화면은 게임이 화면 출력을 독점해 OBS의 캡처가 막힙니다. 게임 그래픽 설정에서 화면 모드를 “테두리 없는 창(Borderless Windowed)”으로 바꾸면 거의 해결됩니다. 그래도 안 되면 OBS를 마우스 우클릭 → “관리자 권한으로 실행”하세요. 발로란트처럼 보안(안티치트)이 강한 게임은 관리자 권한이 있어야 화면을 캡처할 수 있습니다. 마지막으로 GeForce·라데온 그래픽 드라이버를 최신으로 업데이트하면 검은 화면과 녹화 렉이 함께 해결되는 경우가 많습니다. 노트북이라면 OBS가 내장그래픽이 아닌 외장 GPU에서 돌도록, 윈도우 “그래픽 설정”에서 OBS를 “고성능”으로 지정하는 것도 잊지 마세요.
그래도 녹화 렉이 남을 때: OBS 공식 가이드의 점검 순서
인코더를 NVENC로 바꾼 뒤에도 프레임 드랍이 남는다면, 게임이 GPU를 최대로 써서 OBS가 화면을 합성할 여유가 남지 않는 GPU 과부하인 경우가 많습니다. OBS 공식 문서의 인코딩 성능 문제 해결 가이드(2026-09-15 확인 기준)는 아래 순서로 점검하도록 안내합니다. 위에서부터 하나씩 적용하고, 단계마다 짧은 테스트 녹화로 확인하세요.
- 1OBS를 관리자 권한으로 실행 — Windows에서만 가능한 가장 빠른 조치입니다. OBS를 관리자 권한으로 실행하면 Windows에 GPU 자원 확보를 요청할 수 있어, 위의 검은 화면 대책과 별개로 렉에도 효과가 있습니다. OBS 가이드도 다른 단계보다 이것부터 시도하라고 안내합니다.
- 2GPU를 쓰는 다른 프로그램 닫기 — 백그라운드에서 켜 둔 다른 게임이나 GPU 연산을 쓰는 프로그램처럼 GPU를 많이 쓰는 앱을 작업 관리자에서 확인하고 종료합니다(무엇인지 확실한 프로그램만). GPU는 게임 렌더링과 OBS 화면 합성을 동시에 처리하므로, 경쟁하는 작업이 줄수록 OBS 몫이 늘어납니다.
- 3게임 프레임 상한 걸기 — 게임이 GPU를 최대로 쓰면 OBS가 화면을 합성할 여유가 거의 남지 않습니다. 게임 프레임을 모니터 주사율에 맞춰 제한하거나 수직 동기화(V-Sync)를 켜면 OBS 쪽 처리 여유가 생깁니다.
- 4게임 그래픽 옵션 낮추기 — 프레임 상한으로 부족하면 그림자·안티앨리어싱처럼 무거운 옵션을 한 단계 낮춰 GPU 여유를 더 만듭니다.
- 5Windows Game DVR 끄기(게임 모드는 구버전만) — OBS 가이드는 Windows가 백그라운드에서 게임을 녹화하는 Game DVR이 시스템 자원을 추가로 쓰므로 OBS를 쓰는 동안은 끄라고 안내합니다. 게임 모드는 CPU·GPU 같은 시스템 자원을 게임에 우선 배정해 OBS에 영향을 줄 수 있지만, 최신 Windows에서는 켜 둬도 되고 Windows 10 1809 이전 버전에서만 끄라고 안내합니다.
- 6OBS 출력 설정 낮추기 — 위 단계로도 부족하면 설정 → 비디오에서 출력 해상도를 1280×720, 프레임을 30fps로 낮춥니다. OBS 해상도를 낮추면 필요한 GPU 자원도 줄어들며, 이 글의 저사양 권장값과 같습니다.
권장 설정 요약
- 출력 모드: 고급(Advanced) · 상단 “녹화” 탭 선택
- 인코더: NVIDIA NVENC H.264 (AMD는 HW AVC / 인텔은 QuickSync / 신형은 AV1)
- 속도 제어: CQP (CBR 아님) · CQP 값 16~20, 18 권장
- 해상도: 1920×1080 (저사양은 1280×720)
- 프레임: 60fps (저사양 30fps) · 키프레임 간격 2초
- 녹화 형식: mkv → 끝난 뒤 mp4로 리먹스
- 오디오: 데스크톱(트랙1) · 마이크(트랙2) 분리 녹음
설정이 번거롭다면, 도르
여기까지 따라오셨다면 OBS로 고화질·저렉 녹화 세팅을 끝낸 셈입니다. 그런데 매번 게임마다 녹화 버튼을 누르고, 끝난 뒤 1시간짜리 영상에서 명장면 구간을 손으로 찾아 잘라야 하는 건 여전히 남습니다. 이 과정 전체가 번거롭다면, 설정 자체를 신경 쓸 필요가 없는 방법도 있습니다.
도르(DOR)는 위에서 정리한 NVENC 하드웨어 인코딩·키프레임 같은 설정이 전부 기본값으로 잡혀 있어, 설치 후 게임만 켜면 됩니다. 게임 실행을 자동 감지해 백그라운드로 녹화를 시작하고, OBS가 “전체 녹화”만 하는 것과 달리 발로란트·리그 오브 레전드·배틀그라운드 같은 게임에서는 킬·에이스·펜타킬·클러치 같은 명장면을 AI가 실시간으로 감지해 그 구간만 잘라 클립으로 저장합니다. 워터마크도 없고 무료입니다. 검은 화면·렉 걱정 없이 설정과 컷편집을 둘 다 줄이고 싶다면, OBS 세팅에 시간을 쏟기 전에 도르를 먼저 써 보는 편이 빠릅니다.
