OBS Studio는 무료에 강력하지만, 처음 켜면 설정 탭이 8개에 항목은 수십 개라 “대체 뭘 만져야 고화질로, 렉 없이 녹화되는 거지?” 하고 막막해집니다. 결론부터 말하면 전부 만질 필요가 없습니다. 인코더·속도 제어·해상도·키프레임·녹화 포맷, 이 다섯 가지만 제대로 잡으면 나머지는 기본값으로 둬도 됩니다. 아래 메뉴 경로와 권장값을 그대로 따라 입력해 보세요. 각 값이 “왜” 그 숫자인지도 같이 설명합니다.
출력 모드: 고급(Advanced)으로
먼저 OBS 우측 하단 “설정” → 좌측 메뉴 “출력”으로 들어갑니다. 맨 위 “출력 모드”가 기본값으로 “단순”에 맞춰져 있을 텐데, 이걸 “고급(Advanced)”으로 바꿉니다. 단순 모드에서는 인코더와 비트레이트를 거의 만질 수 없어, 속도 제어를 CQP로 두거나 키프레임 간격을 지정하는 게 불가능합니다. 고급으로 바꾸면 상단에 “방송 · 녹화 · 오디오 · 리플레이 버퍼” 탭이 생기는데, 우리는 “녹화” 탭을 선택합니다. “방송” 탭은 트위치·유튜브 송출용이라 여기서 손대면 녹화 화질이 바뀌지 않습니다. 자주 헷갈리는 부분이니 꼭 “녹화” 탭인지 확인하세요.
인코더: NVENC(하드웨어)
이 글에서 가장 중요한 한 줄입니다. “녹화” 탭의 “인코더” 항목을, 기본값인 소프트웨어(x264)가 아니라 “NVIDIA NVENC H.264” 또는 신형 그래픽카드라면 “NVIDIA NVENC HEVC”로 바꾸세요. 둘의 차이를 이해하면 왜 렉이 사라지는지 보입니다.
x264는 CPU로 영상을 인코딩합니다. 게임도 CPU·GPU를 쓰는데 그 위에 인코딩 작업까지 CPU에 얹으면, 게임 프레임이 떨어지고 화면이 버벅입니다. 반면 NVENC는 NVIDIA 그래픽카드(GTX 10 시리즈 이상)에 따로 박혀 있는 “전용 인코딩 칩”을 씁니다. 게임 연산과 인코딩 연산이 물리적으로 분리되어 있어, 녹화를 켜도 인게임 프레임이 거의 그대로 유지됩니다. 녹화하면 렉 걸린다는 호소의 90%는 인코더를 x264에서 NVENC로 바꾸는 것만으로 해결됩니다.
인코더 선택 메뉴 경로
경로는 설정 → 출력(출력 모드: 고급) → 녹화 탭 → 인코더 드롭다운입니다. 여기서 “NVIDIA NVENC H.264”가 보이면 NVIDIA 카드가 정상 인식된 것입니다. AMD 라데온을 쓴다면 같은 자리에 “AMD HW H.264(AVC)”가, 인텔 내장그래픽·아크라면 “QuickSync H.264”가 뜹니다. 이름만 다를 뿐 모두 하드웨어 인코딩이라 원리는 같습니다. RTX 40 시리즈와 라데온 RX 7000, 인텔 아크 이상은 “AV1” 인코더도 고를 수 있는데, AV1은 같은 화질을 더 작은 용량으로 담아 저장 공간 절약에 유리합니다. 다만 일부 편집기·플랫폼 호환성을 먼저 확인하세요. 드롭다운에 NVENC가 아예 안 보이면 그래픽 드라이버가 오래된 것이니 GeForce 드라이버부터 최신으로 업데이트합니다.
비트레이트·화질: CQP 설정
인코더 바로 아래 “속도 제어(Rate Control)”를 기본값 CBR이 아니라 “CQP”로 바꾸세요. 이 둘의 차이가 녹화 화질을 결정합니다. CBR(고정 비트레이트)은 화면이 단순하든 복잡하든 초당 같은 데이터양을 욱여넣습니다. 송출(스트리밍)에는 맞지만, 녹화에서는 정적인 로딩 화면에 비트레이트를 낭비하고 정작 격렬한 교전 장면에서는 비트레이트가 모자라 화질이 뭉개집니다.
CQP(고정 화질)는 “화질 기준”을 정해 두고 장면 복잡도에 따라 비트레이트를 알아서 늘렸다 줄입니다. 움직임이 많은 순간엔 데이터를 더 쓰고 정지 화면엔 아껴, 같은 용량으로 더 일관된 화질을 얻습니다. 속도 제어를 CQP로 바꾸면 나타나는 “CQ 레벨(CQP 값)”을 16~20 사이로 두세요. 권장값은 18입니다. 이 숫자는 낮을수록 고화질·고용량, 높을수록 저화질·저용량입니다. 16은 거의 무손실에 가깝지만 파일이 커지고, 20은 용량이 가볍지만 빠른 화면에서 살짝 손실이 보입니다. 1080p 게임 영상 기준 18이면 분당 대략 150~300MB 수준으로, 화질과 용량의 균형이 가장 좋습니다.
해상도·프레임·키프레임
해상도와 프레임은 설정 → “비디오” 탭에서 잡습니다. “기본(캔버스) 해상도”와 “출력(조정된) 해상도”를 모두 1920×1080으로, “공통 FPS 값”을 60으로 둡니다. 대부분의 게임은 1080p/60fps면 충분히 선명하고, 쇼츠·유튜브 업로드에도 딱 맞습니다. 144Hz·240Hz 고주사율 모니터로 경쟁 FPS를 한다고 녹화까지 144fps로 올릴 필요는 없습니다. 녹화 fps를 올리면 GPU 인코더 부하와 파일 용량이 같이 뛰어 오히려 인게임 프레임이 흔들릴 수 있으니, 녹화는 60fps로 고정하고 게임은 고주사율 그대로 즐기는 편이 안정적입니다. 저사양 PC라면 출력 해상도만 1280×720, 30fps로 낮추면 부담이 크게 줄어듭니다.
다시 출력 → 녹화 탭으로 돌아와 “키프레임 간격(Keyframe Interval)”을 2초로 설정합니다(0으로 두면 자동인데, 편집·재생 호환을 위해 2초를 명시하는 편이 안전합니다). 키프레임은 영상을 되감거나 특정 지점으로 점프할 때 기준이 되는 “완전한 한 장면” 프레임입니다. 간격이 너무 길면 편집기에서 컷을 자를 때 프레임이 어긋나거나 탐색이 버벅이고, 너무 짧으면 용량이 늘어납니다. 2초가 호환성과 용량의 표준값입니다.
녹화 포맷: mkv 후 mp4
설정 → 출력 → 녹화 탭 맨 위 “녹화 형식”을 mp4가 아니라 “mkv(Matroska)”로 두세요. mp4로 직접 녹화하면, OBS가 도중에 비정상 종료되거나 게임이 멈춰 강제 종료될 때 파일 전체가 깨져 1~2시간 분량이 통째로 날아갈 수 있습니다. mp4는 녹화가 정상적으로 끝나는 순간 파일 끝에 인덱스를 써야 재생되는데, 그 인덱스가 없으면 통째로 못 읽기 때문입니다. mkv는 도중에 끊겨도 그 직전까지 녹화된 부분이 멀쩡히 살아남습니다.
문제는 mkv를 프리미어·다빈치 같은 일부 편집기나 SNS 업로드에서 바로 못 읽는 경우가 있다는 점입니다. 그래서 녹화는 mkv로 안전하게 받고, 끝난 뒤 OBS 상단 메뉴 “파일” → “녹화 다시 포장(Remux Recordings)”에서 mkv를 mp4로 변환하면 됩니다. 리먹스는 재인코딩이 아니라 컨테이너만 바꾸는 작업이라 화질 손실이 전혀 없고 몇 초 만에 끝납니다. 출력 → 녹화 탭에서 “자동으로 mp4로 리먹스” 옵션을 켜 두면 이 과정을 OBS가 알아서 해 줍니다.
오디오 설정
설정 → “오디오” 탭에서 “데스크톱 오디오”(게임·디스코드 소리)와 “마이크/보조 오디오”(내 목소리)를 각각 지정합니다. 그다음 출력 → 녹화 탭의 “오디오 트랙”에서 데스크톱은 트랙 1, 마이크는 트랙 2처럼 분리해 녹음하도록 체크하세요. 트랙을 분리해 두면 편집할 때 게임 소리는 키우고 내 마이크만 줄이거나, 반대로 해설만 키우는 식으로 두 소리를 따로 조절할 수 있습니다. 하나로 합쳐 녹음하면 나중에 둘을 떼어낼 수 없으니, 편집을 염두에 둔다면 트랙 분리는 필수입니다.
검은 화면·렉 문제 해결
설정을 다 맞췄는데 녹화 파일이 검은 화면으로만 저장된다면, 게임의 화면 모드가 “전체 화면(Exclusive Fullscreen)”인 경우가 대부분입니다. 전체 화면은 게임이 화면 출력을 독점해 OBS의 캡처가 막힙니다. 게임 그래픽 설정에서 화면 모드를 “테두리 없는 창(Borderless Windowed)”으로 바꾸면 거의 해결됩니다. 그래도 안 되면 OBS를 마우스 우클릭 → “관리자 권한으로 실행”하세요. 발로란트처럼 보안(안티치트)이 강한 게임은 관리자 권한이 있어야 화면을 캡처할 수 있습니다. 마지막으로 GeForce·라데온 그래픽 드라이버를 최신으로 업데이트하면 검은 화면과 녹화 렉이 함께 해결되는 경우가 많습니다. 노트북이라면 OBS가 내장그래픽이 아닌 외장 GPU에서 돌도록, 윈도우 “그래픽 설정”에서 OBS를 “고성능”으로 지정하는 것도 잊지 마세요.
권장 설정 요약
- 출력 모드: 고급(Advanced) · 상단 “녹화” 탭 선택
- 인코더: NVIDIA NVENC H.264 (AMD는 HW AVC / 인텔은 QuickSync / 신형은 AV1)
- 속도 제어: CQP (CBR 아님) · CQP 값 16~20, 18 권장
- 해상도: 1920×1080 (저사양은 1280×720)
- 프레임: 60fps (저사양 30fps) · 키프레임 간격 2초
- 녹화 형식: mkv → 끝난 뒤 mp4로 리먹스
- 오디오: 데스크톱(트랙1) · 마이크(트랙2) 분리 녹음
설정이 번거롭다면, 도르
여기까지 따라오셨다면 OBS로 고화질·저렉 녹화 세팅을 끝낸 셈입니다. 그런데 매번 게임마다 녹화 버튼을 누르고, 끝난 뒤 1시간짜리 영상에서 명장면 구간을 손으로 찾아 잘라야 하는 건 여전히 남습니다. 이 과정 전체가 번거롭다면, 설정 자체를 신경 쓸 필요가 없는 방법도 있습니다.
도르(DOR)는 위에서 정리한 NVENC 하드웨어 인코딩·CQP 최적 화질·키프레임 같은 설정이 전부 기본값으로 잡혀 있어, 설치 후 게임만 켜면 됩니다. 게임 실행을 자동 감지해 백그라운드로 녹화를 시작하고, OBS가 “전체 녹화”만 하는 것과 달리 발로란트·리그 오브 레전드·배틀그라운드 같은 게임에서는 킬·에이스·펜타킬·클러치 같은 명장면을 AI가 실시간으로 감지해 그 구간만 잘라 클립으로 저장합니다. 워터마크도 없고 무료입니다. 검은 화면·렉 걱정 없이 설정과 컷편집을 둘 다 줄이고 싶다면, OBS 세팅에 시간을 쏟기 전에 도르를 먼저 써 보는 편이 빠릅니다.
