왜 '그냥 가운데 자르기'로는 안 되는가
넷플릭스는 소셜 미디어에서 12억 명의 팔로워를 보유하고 있고, 모바일 앱 내에 세로형 비디오 피드인 Clips를 출시했습니다. 문제는 기존 카탈로그가 대부분 16:9 시네마틱 영상이라는 점이죠.
전통적으로 세로형 에셋을 만들려면 편집자가 수작업으로 리프레이밍을 해야 했습니다. 카탈로그가 커질수록 이 방식은 확장이 불가능합니다. 단순히 화면 중앙을 크롭하면 인물이 잘리거나, 대화 장면에서 화자가 프레임 밖으로 나가는 참사가 발생하죠.
넷플릭스가 해결한 방식은 '가상 카메라(Virtual Camera)' 개념입니다. 실제 촬영 감독이 카메라를 움직이듯, 알고리즘이 장면의 핵심 피사체를 추적하며 의도된 프레이밍을 만들어냅니다. 이 글에서는 해당 시스템의 아키텍처를 뜯어보고, 국내 개발 조직에서 참고할 수 있는 포인트를 짚어보겠습니다.

3단계 파이프라인: 샷 분할 → 초점 탐지 → 시간적 리프레이밍
넷플릭스의 시스템은 하나의 에셋을 9:16, 4:5, 1:1 비율로 한 번에 처리합니다. 추가 연산 오버헤드 없이 말이죠. 핵심은 세 단계로 나뉩니다.
1단계: 샷 감지 및 분할 (Shot Detection & Splitting)
먼저 신경망 기반 샷 경계 탐지기로 영상을 원자적 샷 단위로 쪼갭니다. 여기서 끝이 아닙니다. 하나의 샷 안에 여러 인물이 마주보고 대화하는 경우가 많기 때문에, **능동 화자 감지(Active Speaker Detection)**를 결합해 샷을 논리적 서브샷으로 다시 나눕니다.
# 개념적 의사코드: 샷 → 서브샷 분할
def split_into_subshots(shot_frames):
# 1. 얼굴 검출 및 LipFlap 기반 화자 식별
speakers = detect_active_speakers(shot_frames)
# 2. 화자 전환 지점을 기준으로 서브샷 경계 설정
boundaries = find_speaker_transitions(speakers)
# 3. 각 서브샷에 대해 독립적인 가상 카메라 할당
return [VirtualCamera(frames) for frames in split(shot_frames, boundaries)]
이렇게 하면 대화가 진행되며 화자가 바뀔 때 카메라가 자연스럽게 컷 전환하듯 초점을 옮길 수 있습니다.
2단계: 초점 영역 탐지 (Focus Region Discovery)
각 프레임에서 가장 중요한 영역을 찾습니다. 얼굴 검출 결과와 **시각적 현저성 맵(Saliency Map)**을 결합해 우선순위를 매기죠. 다중 인물 장면에서는 다음 신호로 얼굴 순위를 정합니다.
- 능동 화자 여부 (말하고 있는 사람이 우선)
- 상대적 크기 (화면에서 큰 얼굴이 우선)
- 샷 수준의 콘텐츠 이해도
이 신호들을 종합해 가상 카메라의 연속적인 '초점 영역'을 확정합니다.
3단계: 시간적 리프레이밍 (Temporal Reframing)
가장 까다로운 부분입니다. 초점 영역을 프레임 단위로 그대로 따라가면 카메라가 덜덜 떨리는 지루한 영상이 됩니다. 넷플릭스는 샷 내에서 초점 영역의 이동량을 분석해 두 가지 전략을 취합니다.
| 이동량 | 전략 | 결과 |
|---|---|---|
| 작음 | 고정 크롭 윈도우 | 안정적인 정적 프레이밍 |
| 큼 | 동적 추적 윈도우 + 경로 스무딩 | 의도된 시네마틱 팬 |
핵심은 '의도된 움직임'처럼 보이게 만드는 것입니다. 알고리즘 티가 나면 안 되니까요.

실무 적용 시 주의할 점과 한계
이 아키텍처를 국내 환경에 그대로 이식하려면 몇 가지 현실적인 벽에 부딪힙니다.
1. 연산 비용과 인프라
샷 감지, 얼굴 검출, LipFlap, 현저성 맵, 시간적 최적화까지 — 각 단계가 별도 모델입니다. 넷플릭스 규모에서는 GPU 팜을 돌릴 수 있지만, 중소 규모 서비스에서 이 파이프라인을 실시간으로 돌리는 건 무리입니다. 배치 처리 + 캐싱 전략이 필수입니다.
2. 애니메이션과 라이브 액션의 편차
LipFlap 기반 화자 감지는 실사에서는 잘 동작하지만, 애니메이션은 입 모양이 과장되거나 단순화되어 있어 오탐지가 발생할 수 있습니다. 넷플릭스도 이 부분을 별도로 튜닝했다고 언급합니다.
3. 편집자의 최종 판단권
자동화의 함정은 '알고리즘이 다 해줄 것'이라는 기대입니다. 넷플릭스는 결과물을 XML로 익스포트해 Adobe Premiere 같은 외부 툴에서 편집자가 추가 조정할 수 있게 했습니다. 자동 크롭은 시작점이지 종착점이 아닙니다.
4. 국내 개발 생태계에서의 적용 맥락
국내 숏폼 플랫폼이나 커머스 서비스에서 이 아키텍처를 참고한다면, 우선순위를 조정할 필요가 있습니다. 예를 들어 상품 리뷰 영상이라면 '화자'보다 '제품'이 초점이 되어야 하죠. 넷플릭스의 얼굴 중심 로직을 그대로 쓰면 안 되고, 도메인 특화된 현저성 모델로 교체해야 합니다. 또한 국내 SI 환경에서는 외부 SaaS 의존이 어려운 경우가 많아, 오픈소스 얼굴 검출기(예: MediaPipe, RetinaFace)와 경량 현저성 모델 조합으로 파이프라인을 재구성하는 접근이 현실적입니다.
관련해서 프론트엔드에서 스크롤 기반 애니메이션을 다룬다면 CSS 스크롤 애니메이션과 뷰 트랜지션 가이드도 함께 보시면 좋습니다. 세로 피드 UI 구현 시 참고가 됩니다.

결론: '자동화'가 아니라 '증강'으로 봐야 한다
넷플릭스의 멀티 비율 리사이징 시스템은 단순한 크롭 도구가 아닙니다. 샷 단위의 의미론적 이해 + 시간축 최적화를 결합한 파이프라인입니다. 이 글에서 주목할 점은 세 가지입니다.
- 문제를 추적 문제로 재정의했다. "어디를 자를까"를 "가상 카메라가 무엇을 따라갈까"로 바꾼 프레이밍이 핵심입니다.
- 휴리스틱과 ML을 적절히 섞었다. 모든 걸 딥러닝으로 풀지 않고, 이동량에 따라 고정/동적 전략을 나누는 실용성이 돋보입니다.
- 인간의 통제권을 남겼다. XML 익스포트와 인앱 조정 UI로 편집자의 판단을 존중합니다.
다음 단계 학습 방향
- 관심 있다면: 능동 화자 감지(Active Speaker Detection) 논문과 LipFlap 계열 모델을 파보세요. AVA-ActiveSpeaker 데이터셋이 좋은 출발점입니다.
- 실습한다면: MediaPipe + OpenCV로 간단한 얼굴 추적 크롭부터 시작해, 스무딩 필터(Kalman filter 등)를 붙여보세요.
- 아키텍처 관점: 비디오 파이프라인을 다룬다면 NVIDIA DOCA in-silicon 보안 아키텍처 해설처럼 하드웨어 가속 레이어까지 고려한 설계도 참고할 만합니다.
자동화는 편집자를 대체하는 게 아니라, 반복 작업에서 해방시켜 창의적 판단에 집중하게 만드는 도구입니다. 그 균형을 어떻게 잡느냐가 좋은 시스템의 조건이에요.