1. 시스템 아키텍처 전체 개요 및 주요 블록 분해
Tesla의 '비전 기반 점유 예측 네트워크(Vision-based Occupancy Prediction Network, 이하 OP-Net)'는 FSD(Full Self-Driving) 컴퓨터의 뉴럴 엔진 위에서 실시간으로 동작하도록 설계된 고도로 최적화된 엔드-투-엔드(End-to-End) 심층 학습 아키텍처입니다. 그 목표는 여러 대의 카메라에서 얻은 2D 비디오 스트림을 입력받아, 차량 주변의 3D 공간에 대한 조밀하고(dense) 의미론적인(semantic) 표현을 출력하는 것입니다. 이 아키텍처는 크게 네 가지 핵심 블록으로 분해할 수 있습니다: (A) 다중 카메라 입력 및 전처리 모듈, (B) 2D 공간 특징 추출을 위한 공유 백본(Shared Backbone), (C) 2D 특징을 3D 공간으로 변환하고 시간적 정보를 융합하는 뷰 변환 및 시간적 융합 모듈(View Transformer & Temporal Fusion Module), 그리고 (D) 최종 3D 점유 그리드를 생성하는 3D 복셀 헤드(3D Voxel Head)입니다. 전체 데이터 흐름은 다음과 같습니다. 먼저, 차량에 장착된 8개의 카메라(전방 3개, 측면 4개, 후방 1개)로부터 동기화된 이미지 시퀀스가 입력됩니다. 각 이미지는 색상 보정, 왜곡 보정 등 표준 전처리 과정을 거쳐 OP-Net에 공급됩니다. 이후 강력한 컨볼루션 신경망(CNN) 또는 비전 트랜스포머(ViT) 기반의 공유 백본이 각 이미지에서 저수준(모서리, 질감) 및 고수준(객체의 일부, 도로 패턴)의 시각적 특징을 추출합니다. 이 단계까지는 데이터가 여전히 각 카메라의 2D 평면에 머물러 있습니다. 핵심적인 혁신은 세 번째 블록에서 일어납니다. '뷰 변환' 모듈은 각 카메라의 캘리브레이션 데이터(내부 파라미터 및 외부 파라미터)를 사용하여 2D 이미지 특징들을 3차원 공간의 특정 지점(Voxel)으로 역투영(unproject)합니다. 이 과정에서 여러 카메라 뷰에서 관찰된 동일한 3D 지점의 특징들이 하나의 복셀 표현으로 통합됩니다. 그 직후, '시간적 융합' 모듈(주로 GRU나 Transformer의 한 형태)이 현재 프레임의 3D 특징과 이전 프레임들에서 계산된 숨겨진 상태(hidden state)를 결합하여 동적인 정보를 모델링합니다. 이를 통해 네트워크는 객체의 속도와 가속도를 암시적으로 학습하게 됩니다. 마지막으로, 3D 복셀 헤드는 이 시간적으로 융합된 3D 특징 볼륨을 입력받아, 일련의 3D 역컨볼루션(Deconvolution) 또는 업샘플링 레이어를 통해 최종적으로 원하는 해상도의 점유 그리드를 출력합니다. 이 그리드는 단순한 이진(binary) 점유 여부뿐만 아니라, 각 복셀의 의미론적 클래스(도로, 보행자, 차량 등), 속도 벡터 등 다중 채널 정보를 포함할 수 있어, 후속 경로 계획 모듈이 훨씬 정교한 결정을 내릴 수 있도록 지원합니다.
2. 구성 요소 상세 분해 (Component-by-Component Analysis)
각 구성 요소를 더 깊이 분석해 보겠습니다. (A) '다중 카메라 입력 및 전처리 모듈'은 단순한 이미지 입력 이상의 역할을 수행합니다. Tesla 차량의 카메라들은 서로 다른 화각, 해상도, 렌즈 왜곡 특성을 가집니다. 이 모듈은 이러한 이질성을 보정하고, 모든 카메라 이미지를 네트워크가 처리하기 용이한 표준화된 텐서(Tensor) 형태로 변환합니다. 특히, 시간적 동기화는 매우 중요하며, 나노초 단위의 타임스탬프를 기반으로 각기 다른 카메라의 프레임들을 정확히 정렬하여 '월드 스냅샷'을 생성합니다. (B) '공유 백본'은 전통적인 ResNet이나 EfficientNet과 같은 CNN 아키텍처에서 출발했지만, 최근에는 '비전 트랜스포머(ViT)' 또는 이 둘을 결합한 하이브리드 형태로 진화했을 가능성이 높습니다. ViT는 이미지를 여러 개의 패치(patch)로 나누고, 셀프-어텐션(Self-Attention) 메커니즘을 통해 이미지 전체의 전역적인 컨텍스트를 파악하는 데 탁월합니다. 이는 차량 주변의 복잡한 장면(예: 멀리 있는 작은 객체와 가까이 있는 큰 객체 간의 관계)을 이해하는 데 결정적인 이점을 제공합니다. 백본은 파라미터를 공유함으로써 8개 뷰 전체에서 일관된 특징 표현을 학습하며, 이는 연산 효율성을 극대화하는 핵심 요소입니다. (C) '뷰 변환 및 시간적 융합 모듈'은 이 특허 기술의 심장부입니다. 뷰 변환은 LSS(Lift, Splat, Shoot)나 BEVFormer와 같은 최근 연구에서 영감을 받은 기법을 사용할 수 있습니다. 'Lift' 단계에서는 2D 특징 맵의 각 픽셀에 대해 가능한 깊이(depth) 분포를 예측합니다. 'Splat' 단계에서는 이 깊이 정보와 카메라 캘리브레이션 정보를 이용해 2D 특징 픽셀들을 3D 공간의 해당 위치에 '흩뿌립니다'(splatting). 이 과정에서 여러 뷰의 정보가 자연스럽게 3D 복셀 그리드에 누적됩니다. 그 후, GRU(Gated Recurrent Unit)나 어텐션 기반의 시간적 융합 모듈이 이 3D 특징 그리드의 시퀀스를 처리합니다. GRU의 업데이트 방정식은 와 같이 표현할 수 있으며, 여기서 는 현재 타임스텝의 상태, 은 이전 상태, 는 업데이트 게이트로, 과거 정보와 현재 정보의 비중을 동적으로 조절하여 움직임을 효과적으로 추적합니다. (D) '3D 복셀 헤드'는 최종 출력을 생성합니다. 이 부분은 3D U-Net과 유사한 인코더-디코더 구조를 가질 수 있습니다. 융합된 3D 특징 볼륨을 다운샘플링하여 계산량을 줄이면서 넓은 범위의 컨텍스트를 포착한 후, 다시 업샘플링하면서 고해상도의 세밀한 복셀 예측을 수행합니다. 최종 출력 레이어에서는 각 복셀마다 Sigmoid 함수를 적용하여 0과 1 사이의 점유 확률을 계산하고, 별도의 브랜치(branch)에서는 Softmax 함수를 통해 의미론적 클래스를 분류하거나, 회귀(regression)를 통해 속도 벡터를 예측합니다.