OBS에서 녹화 시작 버튼을 눌렀는데 '녹화에 실패했습니다'(영문 Failed to start recording) 창이 뜬다면, OBS가 직접 알려 주는 첫 조치는 로그 확인이고 NVENC나 AMD 인코더를 쓰고 있다면 비디오 드라이버가 최신인지 확인하는 것입니다. 로그는 도움말 > 로그 파일 > 현재 로그 보기에서 열 수 있고, 이 글은 오류 창 문구를 원인별로 나눠 무엇부터 할지 정리했습니다. 2026년 9월 30일 확인 기준으로 OBS Studio 최신 안정판인 32.2.2(2026년 8월 14일 릴리스)의 공식 문구와 메뉴 이름을 따랐고, 인코더 설정값 자체는 OBS 게임 녹화 설정 가이드에서 다룹니다. 여기서는 시작 버튼을 누른 뒤 오류 창이 뜨며 녹화가 시작되지 않는 경우만 봅니다.
오류 문구별 원인과 첫 조치 (OBS 32.2.2 공식 문구 기준)
| 화면에 뜬 문구 | OBS 문구가 가리키는 원인 | 먼저 할 일 |
|---|---|---|
| 출력을 시작하지 못했습니다. (Starting the output failed.) | 원인을 특정하지 않는 일반 문구입니다. NVENC나 AMD 인코더를 쓴다면 드라이버가 최신인지 확인하라는 참고가 함께 붙습니다. | 도움말 > 로그 파일 > 현재 로그 보기로 오류 줄을 찾고, 그래픽 드라이버를 최신으로 올립니다. |
| NVENC 코덱을 여는데 실패함 (Failed to open NVENC codec) | NVENC 코덱을 여는 데 실패한 경우입니다. 문구 뒤쪽 내용이 실제 원인입니다. | 뒤에 붙은 문구를 그대로 확인하고, 아래 NVENC 항목 중 맞는 것을 찾습니다. |
| NVENC 오류: 지원하지 않는 장치입니다. (Unsupported device) | 그래픽 카드가 NVENC를 지원하지 않거나 드라이버가 맞지 않는 경우입니다. | 카드의 NVENC 지원 여부를 확인하고 드라이버를 업데이트합니다. 그래픽 카드가 둘이면 OBS가 어느 GPU를 쓰는지도 확인합니다. |
| 설치한 NVIDIA 드라이버가 이 NVENC 버전을 지원하지 않습니다. (The installed NVIDIA driver does not support this NVENC version) | 설치된 NVIDIA 드라이버가 이 버전의 NVENC를 지원하지 않는 경우입니다. | NVIDIA 드라이버를 업데이트합니다. |
| NVENC 오류: 너무 많은 세션을 동시에 처리하고 있습니다. (Too many concurrent sessions) | NVENC 동시 세션이 한도를 넘은 경우입니다. | NVIDIA ShadowPlay, Windows Game DVR 등 NVENC를 쓰는 다른 녹화 프로그램을 종료합니다. |
| %1에 기록할 수 없습니다. / 잘못된 파일 경로 (Unable to write to … / Bad File Path) | 녹화 경로를 열 수 없거나, 계정에 쓰기 권한이 없거나, 디스크 공간이 부족한 경우입니다. | 설정 → 출력 → 녹화에서 녹화 저장 경로를 확인하고 쓰기 가능한 폴더와 여유 공간을 확보합니다. |
| 녹화 도우미를 시작할 수 없습니다. (Unable to start the recording helper process) | 백신이나 보안 소프트웨어가 OBS 파일을 차단하거나 제거한 경우입니다. Windows 랜섬웨어 보호(제어된 폴더 액세스, controlled folder access)가 원인일 수도 있다고 OBS가 안내합니다. | 보안 소프트웨어의 차단 기록과 허용 목록을 확인하고, OBS 안내대로 Windows 보안(Windows Security)의 제어된 폴더 액세스(controlled folder access)를 해제해서 달라지는지 확인합니다. |
| 이 출력 형식은 지원되지 않거나, 둘 이상의 오디오 트랙을 지원하지 않습니다. (The output format is either unsupported…) | 선택한 녹화 형식이 인코더나 오디오 트랙 구성과 맞지 않는 경우입니다. | 녹화 형식을 Matroska 비디오(.mkv)로 바꾸고 오디오 트랙 수와 인코더 조합을 확인합니다. |
결론: 문구 한 줄로 갈래를 나눕니다
결론은 세 갈래입니다. 문구에 NVENC가 들어 있으면 그래픽 드라이버와 NVENC를 함께 쓰는 다른 프로그램을, '%1에 기록할 수 없습니다'나 '잘못된 파일 경로'처럼 경로가 나오면 저장 폴더 권한과 디스크 공간을, '녹화 도우미를 시작할 수 없습니다'가 나오면 보안 소프트웨어를 먼저 봅니다. '출력을 시작하지 못했습니다'(Starting the output failed)는 원인을 알려 주지 않는 일반 문구여서 답은 로그에 있습니다. NVENC 자체의 권장 설정값이 궁금하다면 RTX용 OBS NVENC 설정 가이드로 넘어가면 됩니다. 녹화 도중 뜨는 인코더 과부하 경고, 검은 화면, 파일이 저장되지 않는 문제는 증상이 달라 이 글에서 다루지 않습니다.
원인을 좁혀 가는 순서 (OBS 32.x, Windows 기준)
- 1로그 파일부터 열기 — OBS 오류 창은 로그를 확인하라고 직접 안내합니다. 도움말 > 로그 파일 > 현재 로그 보기에서 방금 실패한 실행의 로그를 열 수 있고, 로그 파일 표시로 폴더를 열거나 현재 로그 파일 올리기를 고를 수도 있습니다. 로그에서 NVENC, AMD, 경로, 권한과 관련된 오류 줄을 찾아 아래 어느 단계에 해당하는지 구분하면 시간을 아낄 수 있습니다. OBS 공식 KB에는 이 오류만 다루는 문서가 없어서, 이 글의 순서는 OBS 오류 문구와 각 KB 문서를 연결해 정리한 것입니다.
- 2그래픽 드라이버를 최신으로 올리기 — OBS 오류 창은 NVENC나 AMD 인코더를 쓰는 경우 비디오 드라이버가 최신인지 확인하라고 덧붙입니다. OBS Hardware Encoding 문서(2022년 1월 11일 작성)도 모든 플랫폼에서 드라이버 업데이트를 강조하고, 하드웨어 인코더로 NVIDIA NVENC, AMD Advanced Media Framework(AMF), Intel Quick Sync Video(QSV)를 듭니다. NVIDIA는 제품 유형·시리즈·제품·OS를 골라 찾는 공식 드라이버 페이지가 있고, Intel은 OBS 문서가 안내하는 Intel Download Center에서 받을 수 있으며, AMD는 그래픽 카드 제조사 공식 사이트에서 받습니다. 설치가 끝나면 OBS를 완전히 종료했다가 다시 실행해 녹화를 시도합니다.
- 3NVENC를 쓰는 다른 프로그램 끄기 — OBS의 NVENC 일반 오류 문구는 최신 NVIDIA 드라이버를 설치하고 NVIDIA ShadowPlay나 Windows Game DVR처럼 NVENC를 쓰는 다른 녹화 프로그램을 종료하라고 안내합니다. Too many concurrent sessions도 같은 방향입니다. 세션 수 상한이 있다는 것까지만 확인되며, OBS KB(2021년)와 NVIDIA 지원 표의 서술이 달라 이 글에서는 숫자를 쓰지 않습니다. Windows 쪽은 OBS Windows Gaming Features Troubleshooting(2021년 8월 26일 문서) 기준으로 Settings 앱 > Gaming > Game DVR(Windows 버전에 따라 Captures)에서 “Record in the background while I'm playing a game”를 Off로, Game Bar는 “Record game clips, screenshots and broadcast using Game bar”를 Off로 하라고 되어 있습니다. 2021년 문서라 Windows 11에서는 메뉴 이름과 위치가 다를 수 있습니다. OBS Known Application Conflicts 문서는 RivaTuner, EVGA Precision, Action!, DXTory 같은 캡처·녹화 소프트웨어와 Medal.tv, MSI Afterburner, Overwolf, FRAPS 같은 오버레이 계열을 함께 켜면 충돌할 수 있다고 열거하며, OBS 사용 전에 종료하라고 권합니다.
- 4지원 장치와 사용 중인 GPU 확인하기 — NVENC Error: Unsupported device는 그래픽 카드가 NVENC를 지원하는지 확인하고 드라이버를 업데이트하라는 문구입니다. OBS Hardware Encoding 문서는 NVIDIA에서 GeForce 750 Ti, 900 시리즈(Maxwell) 이상을, Intel에서 Core-i 2xxx(Sandy Bridge) 이상(권장은 4xxx Haswell 이상)을 듭니다. GPU가 여러 개면 주 그래픽 어댑터의 인코더를 쓰라는 경고도 있습니다. OBS GPU Selection Guide(2023년 4월 24일 문서)에 따르면 OBS는 한 번에 GPU 하나에서만 동작하며, 내장과 외장 GPU가 함께 있는 노트북이라면 OBS를 종료한 뒤 Windows 설정 → 시스템 → 디스플레이 → 그래픽 설정에서 obs64.exe(기본 경로 C:\Program Files\obs-studio\bin\64bit\obs64.exe)를 등록합니다. 게임 캡처와 창 캡처에는 High Performance(외장), 디스플레이 캡처에는 Power Saving(내장)을 고르라는 안내입니다.
- 5저장 경로, 권한, 디스크 공간 확인하기 — Unable to write to … 문구는 사용자 계정이 쓸 수 있는 녹화 경로를 쓰고 있는지, 디스크 공간이 충분한지 확인하라고 합니다. Bad File Path 창은 설정 → 출력 → 녹화에서 녹화 저장 경로를 확인하라고 안내합니다. 출력 방식이 고급이면 출력 설정의 녹화 탭에서 봅니다. 폴더가 지워졌거나 외장 드라이브가 빠졌거나, 계정이 쓰기 권한이 없는 위치를 가리키고 있지 않은지 보고, 일단 사용자 계정이 확실히 쓸 수 있는 폴더로 지정해 시작되는지 확인합니다.
- 6보안 소프트웨어와 Windows 랜섬웨어 보호 확인하기 — Unable to start the recording helper process는 백신이나 보안 소프트웨어가 OBS 파일을 차단하거나 제거하지 않았는지 확인하라는 문구입니다. OBS는 Windows 10의 랜섬웨어 보호(제어된 폴더 액세스, controlled folder access)가 켜져 있어도 이 오류가 날 수 있다며 Windows 보안(Windows Security)의 바이러스 및 위협 방지(Virus & threat protection) 설정에서 제어된 폴더 액세스(controlled folder access)를 해제해 보라고 안내합니다. OBS Known Application Conflicts 문서는 백신·방화벽에서 OBS를 허용 목록에 넣고, 그래도 안 되면 비활성화해 보라고 합니다. 보안 기능은 끄기 전에 허용 목록으로 해결되는지를 먼저 보고, 끄고 확인했다면 원인을 알아낸 뒤 다시 켜 두는 편이 안전합니다.
- 7녹화 형식과 오디오 트랙 조합 점검하기 — The output format is either unsupported or does not support more than one audio track가 뜨면 설정 → 출력에서 녹화 형식과 오디오 트랙 수를 봅니다. OBS Standard Recording Output Guide는 MKV를 권장하며 비정상 종료 때 파일이 손상되는 것을 막아 준다고 설명하고, Audio/Video Formats Guide(2023년 3월 26일 문서)는 MKV가 OBS가 지원하는 모든 인코더와 호환된다고 적습니다. 같은 문서의 비호환 조합은 AV1이 FLV·MOV·M3U8(HLS)·TS에서 불가, HEVC가 FLV에서 불가, Opus 오디오가 FLV·MOV에서 불가이고 FLV는 오디오 트랙이 하나뿐입니다. AV1 인코더에서 “AV1 encoding is not available with the current settings”가 나오면 재조정(re-scaling)이나 GPU 옵션을 꺼 보라는 문구입니다. 고급 > 색상 형식으로 10비트를 쓰고 있다면 AMD H.264와 Intel QSV H.264는 10-bit 인코딩이 안 되고, NVENC는 I010 대신 P010을 쓰라는 문구가 뜹니다.
- 8인코더와 플러그인을 바꿔 원인 분리하기 — 인코더를 소프트웨어 (x264)로 바꿔 시작되는지 보는 방법은 OBS 문서가 이 오류의 해결책으로 명시한 것이 아니므로, 하드웨어 인코더 쪽 문제인지 가르는 확인용으로만 씁니다. 출력 방식이 단순일 때 하드웨어 (NVENC, H.264), 하드웨어 (AMD, H.264), 하드웨어 (QSV, H.264), 소프트웨어 (x264)가 나뉘어 표기됩니다. 녹화 품질이 방송 품질과 동일하게(Same as stream)라면 스트림 인코더 설정을 그대로 쓰므로 그쪽도 함께 확인합니다. 서드파티 플러그인이 의심되면 OBS Launch Parameters 문서의 --safe-mode로 실행해 볼 수 있습니다. 이 옵션은 서드파티 플러그인, 스크립트, websockets를 모두 비활성화한 채 OBS를 시작합니다.
녹화가 시작되지 않을 때 마지막 점검
- 오류 창 문구를 그대로 적어 두고, 도움말 > 로그 파일 > 현재 로그 보기에서 같은 시각의 오류 줄을 확인했습니까?
- 그래픽 드라이버를 최신으로 올린 뒤 OBS를 완전히 종료했다가 다시 실행했습니까?
- NVIDIA ShadowPlay, Windows Game DVR, 오버레이, 다른 녹화 프로그램이 모두 꺼져 있습니까?
- 녹화 저장 경로가 실제로 존재하고 쓸 수 있는 폴더이며, 디스크 여유 공간이 있습니까?
- 보안 소프트웨어와 Windows 보안이 OBS 파일이나 저장 폴더를 막고 있지 않습니까?
- 녹화 형식을 MKV로 두고 인코더·오디오 트랙 조합을 점검했으며, 그래도 안 될 때를 대비해 로그 파일을 저장해 두었습니까?
OBS 공식 KB에서 관리자 권한 실행은 인코딩 과부하(encoding overloaded)와 일부 게임 캡처 문제의 해결책으로 나오지만, 녹화 시작 실패의 해결책으로 명시한 문서는 찾지 못했습니다. 효과를 단정하지 말고 다른 증상에 대한 안내라는 점만 참고하시면 됩니다. 또 2026년 9월 30일 기준으로 OBS 33.0.0-beta4는 프리릴리스라 이 글의 메뉴 경로는 32.x 기준입니다.
OBS 오류를 잡는 대신 자동 녹화를 쓰는 선택지
위 단계는 OBS를 계속 쓰기 위한 방법이고, DOR가 OBS 오류를 대신 고쳐 주는 것은 아닙니다. 다만 NVENC 오류와 저장 경로, 보안 프로그램 문제를 차례로 잡는 일이 부담스럽다면, 게임을 켜 두면 자동으로 녹화되는 방식도 선택지가 됩니다. DOR는 지원하는 게임을 자동으로 감지해 풀매치를 mp4로 녹화하고, NVIDIA 그래픽 카드에서는 NVENC 하드웨어 인코딩을 기본으로 쓰며 게임 소리와 마이크를 함께 담습니다. 자동 하이라이트 클립은 일부 게임에서만 됩니다. 어떤 방식이 맞는지는 OBS가 너무 복잡할 때 대안에서, 도구 전체 비교는 OBS 대안 프로그램 비교에서 볼 수 있습니다.
공식 출처와 확인 기준
오류 문구와 메뉴 이름은 2026년 9월 30일 확인 기준 OBS Studio 32.2.2(최신 안정판)의 공식 로케일 문자열을 따랐고, 원인별 안내는 OBS 공식 KB인 Hardware Encoding, Known Application Conflicts, Windows Gaming Features Troubleshooting을 근거로 했습니다. GPU 선택, Launch Parameters, 녹화 출력·형식 가이드도 OBS 공식 KB에서 확인했습니다. KB 문서는 작성일이 2021~2023년이라 Windows 메뉴 이름과 값이 바뀌었을 수 있으니 링크에서 다시 확인해 주시기 바랍니다.
