Tesla의 '4D 시공간 예측 AI': FSD를 넘어 옵티머스와 xAI 월드 모델의 눈이 될 비전 기술의 결정판

1) 시스템 아키텍처 전체 개요 및 주요 블록 분해

본 특허에서 제안하는 '비전 기반 4D 시공간 점유 예측' 시스템의 아키텍처는 Tesla가 추구하는 'End-to-End' 자율주행 철학의 정점을 보여줍니다. 시스템은 크게 세 가지 주요 블록으로 구성됩니다: [1] 다중 시점 비디오 입력 처리 및 임베딩을 위한 '비전 트랜스포머 백본(Vision Transformer Backbone)', [2] 시간적 동역학을 모델링하는 '시공간 융합 모듈(Spatio-Temporal Fusion Module)', 그리고 [3] 3D 공간의 점유 상태와 동적 정보를 예측하는 '점유 예측 디코더(Occupancy Prediction Decoder)'입니다. 전체 데이터 흐름은 다음과 같습니다. 먼저, 차량에 장착된 8개 이상의 카메라에서 수집된 동기화된 비디오 스트림(예: 초당 15-30 프레임)이 시스템에 입력됩니다. 각 비디오 프레임은 먼저 작은 패치(patch)들로 분할되고, 각 패치는 선형 투영(linear projection)을 통해 고차원 벡터, 즉 '임베딩'으로 변환됩니다. 이 과정에서 각 패치에 해당하는 3D 공간 위치와 시간 정보를 담은 '위치 및 시간 인코딩(Positional & Temporal Encoding)'이 추가되어, 모델이 2D 이미지 픽셀이 실제 3D 세계의 어느 지점에서 언제 촬영되었는지를 이해할 수 있도록 합니다. 이렇게 전처리된 데이터는 거대한 비전 트랜스포머 백본으로 전달됩니다. 이 백본은 수십 개의 어텐션 블록(attention block)으로 구성되어, 모든 이미지 패치들 간의 상호 관계를 계산합니다. 예를 들어, 전방 카메라의 A 지점과 측면 카메라의 B 지점이 실제로는 동일한 물체의 다른 면이라는 것을 '셀프 어텐션(self-attention)' 메커니즘을 통해 학습합니다. 이 과정은 단순히 이미지를 합치는 것을 넘어, 3D 공간에 대한 일관된 단일 표상(Unified Representation)을 생성하는 핵심 단계입니다. 백본을 통과한 풍부한 피처(feature)들은 시공간 융합 모듈로 넘어갑니다. 이 모듈은 현재 프레임의 정보뿐만 아니라 과거 수 초간의 프레임에서 추출된 피처들을 함께 처리하여, 객체의 움직임, 즉 '시간적 동역학(temporal dynamics)'을 학습합니다. 예를 들어, 정지해 있던 보행자가 걷기 시작하는 순간의 미세한 자세 변화를 감지하고, 이를 바탕으로 미래의 이동 경로를 예측합니다. 마지막으로, 이 모든 시공간 정보가 집약된 텐서는 점유 예측 디코더로 전달됩니다. 디코더는 미리 정의된 3D 공간 그리드(예: 차량 주변 200m x 200m x 20m 공간을 20cm 해상도의 복셀로 분할) 내의 각 복셀에 대해 여러 예측을 수행합니다. 구체적으로, 각 복셀이 [1] 점유될 확률(0에서 1 사이), [2] 점유하고 있는 객체의 속도 벡터($$), [3] 의미론적 클래스(차량, 보행자, 도로 등)를 예측합니다. 특히 이 예측은 단일 시간점이 아닌, 미래의 여러 시간 단계(예: 0.5초 후, 1.0초 후, 2.0초 후)에 대해 동시에 이루어집니다. 그 결과물은 말 그대로 '살아 움직이는 4D 세계 모델'이며, 자율주행 시스템은 이 모델을 기반으로 시뮬레이션을 수행하여 가장 안전하고 효율적인 주행 경로를 계획하게 됩니다.