1. 등장 배경 – “왜 Depth만으로는 충분하지 않았을까?”
지난 몇 년간 컴퓨터 비전 분야에서 Depth Estimation(깊이 추정) 기술은 놀라운 발전을 이뤘습니다. 이제는 AI가 사진 한 장만 보고도 어디가 가깝고 어디가 먼지 꽤 정확하게 맞춰냅니다. 하지만, 이것만으로 완벽한 3D 공간을 이해했다고 말할 수 있을까요?
현실적인 3D 애플리케이션(AR, 로보틱스 등)의 관점에서 보면, 단순한 Depth Map(깊이 지도)만으로는 한계가 명확합니다.
- 카메라 의존성: 깊이 정보는 카메라가 어디서 찍었는지(Pose)에 따라 값이 완전히 달라집니다.
- 정합의 어려움: 여러 장의 사진을 이어 붙여 하나의 공간을 만들려 할 때, 단순한 깊이 값만으로는 기하학적으로 딱 들어맞게 합치기(Alignment) 어렵습니다.
- 스케일 붕괴: 카메라의 렌즈 특성(Intrinsics)이 바뀌면 깊이의 절대적인 크기나 방향 감각이 쉽게 무너집니다.
이러한 문제를 해결하기 위해 기존 시스템들은 SfM(Structure from Motion)이나 SLAM 같은 복잡하고 무거운 별도의 파이프라인을 억지로 결합해서 사용해야 했습니다. DA3는 여기서 근본적인 질문을 던집니다.
“그냥 모델이 처음부터 깊이(Depth)뿐만 아니라 빛의 경로(Ray)까지 예측해버리면, 이 모든 복잡한 과정이 필요 없어지지 않을까?”
2. 문제 정의 – 기존 3D 비전의 파편화된 구조
기존의 3D 비전 기술은 마치 여러 명의 전문가가 따로 일하는 것과 같았습니다.
① 작업(Task)별 파편화
깊이를 예측하는 모델 따로, 카메라 위치를 찾는 모델 따로, 이를 합쳐 3D로 만드는 알고리즘이 다 따로 놀았습니다. 서로 밀접하게 연관된 정보임에도 불구하고 모델과 데이터 표현 방식이 철저히 분리되어 있었죠.
② 포즈 추정의 불안정성
카메라의 위치(Pose)를 모르면 좋은 깊이 정보도 무용지물이 됩니다. 반대로 깊이 정보가 부정확하면 포즈 추정도 실패합니다. 이 둘은 닭과 달걀의 관계인데, 기존 방식은 이를 후처리 최적화(Optimization)로 억지로 끼워 맞추는 방식이었습니다.
DA3는 이 문제의 원인을 '3D를 표현하는 최소 단위(Representation)의 부재'라고 진단했습니다.
3. 핵심 아이디어 – Depth + Ray = 최소 충분 표현
그렇다면 3D 공간을 표현하기 위해 꼭 필요한 '최소한의 정보'는 무엇일까요? DA3의 답은 심플합니다.
“어디서 출발했는지(Origin), 어느 방향으로 쏘는지(Direction), 그리고 얼마나 가야 하는지(Depth)”
DA3는 이미지의 각 픽셀마다 다음 두 가지 정보를 직접 예측하도록 설계되었습니다.
- Depth (거리): 해당 픽셀 방향으로 얼마나 뻗어가야 물체가 있는지.
- Ray (경로):
- Origin: 이 빛이 어디서 시작되었는지 (카메라 원점)
- Direction: 어느 방향으로 쏘아진 빛인지 (벡터)
이 두 가지를 합친 개념을 Depth-Ray라고 부릅니다. 이를 수식으로 표현하면 매우 직관적입니다.
여기서 \(\mathbf{t}_p\)는 레이의 시작점, \(\mathbf{d}_p\)는 방향, \(D_p\)는 깊이입니다. 이 간단한 식 하나로 2D 이미지는 즉시 3D 점군(Point Cloud)으로 변환됩니다. 별도의 복잡한 역투영(Back-projection) 공식이나 카메라 파라미터 행렬이 필요 없습니다.
4. 구조 – Dual-DPT Head와 포즈 복원
이 아이디어를 실제 모델로 구현하기 위해 DA3는 독창적인 구조를 채택했습니다.
(참고: Depth Anything V2 Paper 및 Roboflow DA3 Blog의 아키텍처 다이어그램 참조)
4.1 Dual-DPT Head (이중 헤드 구조)
DA3는 거대한 Transformer 백본(Backbone) 위에 두 개의 머리(Head)를 달았습니다. 하나는 Depth Map을 그리고, 동시에 다른 하나는 Ray Map(3D 좌표 및 방향)을 그립니다. 중요한 점은 이 두 정보가 픽셀 단위로 완벽하게 정렬(Aligned)되어 나온다는 것입니다.
4.2 Ray로부터 카메라 포즈 역산
이 부분이 DA3의 백미입니다. 모델은 '카메라의 위치'를 숫자로 뱉어내지 않습니다. 대신 수만 개의 픽셀이 각각 "나는 여기서 출발했어(Ray Origin)"라고 말하는 정보를 모아 평균을 내면 그것이 곧 카메라의 위치가 됩니다.
- 위치(Translation): 모든 픽셀의 Ray Origin 평균값.
- 회전(Rotation): Ray Direction의 분포를 분석하여 표준 좌표계와 비교(Homography)하면 카메라가 어떻게 기울어졌는지 알아낼 수 있습니다.
즉, Depth-Ray 예측 → 3D 구조 생성 → 카메라 포즈 자동 복구라는 흐름이 물 흐르듯 이어지게 됩니다.
5. 기존 접근과의 비교
기존 방식과 DA3의 차이점을 한눈에 비교하면 다음과 같습니다. DA3는 통합과 단순화를 지향합니다.
| 구분 | 기존 Depth 기반 접근 | Depth-Ray (DA3) |
|---|---|---|
| 예측 대상 | 오직 깊이(Depth)만 예측 | Depth + Ray (공간 정보) 동시 예측 |
| 포즈 처리 | 별도의 모델이나 최적화 과정 필수 | Ray 정보에서 즉시 복구 가능 |
| 일관성 | 여러 뷰 결합 시 구조가 깨지기 쉬움 | 멀티뷰에서도 강력한 기하학적 일관성 유지 |
| 모델 구조 | 작업별로 쪼개진 복잡한 파이프라인 | 단일 Transformer로 통합 (All-in-One) |
6. 사용 가이드 및 한계
DA3는 혁신적이지만, 모든 기술에는 장단점이 존재합니다. 실무 적용 시 다음 사항을 고려해야 합니다.
✅ 활용 포인트
- 이미지 한 장이든 비디오든 입력 형식에 구애받지 않고 3D 구조를 뽑아낼 수 있습니다.
- Point Cloud 생성뿐만 아니라, 최신 기술인 3D Gaussian Splatting이나 NeRF의 초기 입력값으로 매우 훌륭하게 작동합니다.
⚠️ 주의할 점 (한계)
- 연산 비용: 모든 픽셀에 대해 Ray를 예측하고 포즈를 복구하는 과정은 단순 Depth 예측보다 계산량이 많습니다. 실시간 처리가 필요하다면 경량화된 Camera Head 모드를 사용하는 것이 좋습니다.
- 동적 객체: 기본적으로 "정지된 세상"을 가정합니다. 움직이는 사람이나 자동차가 많은 장면에서는 추가적인 전처리가 필요할 수 있습니다.
- 절대 스케일: "이 물체까지 3미터다"라는 정확한 미터법(Metric) 단위가 필요하다면, 기준이 되는 스케일 보정 작업이 필요합니다.
마무리 – 공간 지능을 향한 도약
Depth-Ray는 단순한 데이터 포맷의 변화가 아닙니다. 이는 기계가 세상을 이해하는 방식을 "평면(2D)에서 공간(3D) 그 자체"로 끌어올리려는 시도입니다.
“3D를 이해하기 위한 최소 충분 표현 (Minimal Sufficient Representation)”
복잡한 수학적 최적화 도구들을 걷어내고, 거대한 딥러닝 모델 하나가 스스로 공간과 빛의 경로를 깨우치게 만드는 것. 이것이 바로 Depth Anything 3가 공간 지능(Spatial Intelligence)의 중요한 이정표로 불리는 이유입니다.