테슬라의 눈, 현실을 삼키다: FSD와 옵티머스를 깨우는 '비전 기반 점유 예측' AI 특허 완전 해부

1) 시스템 아키텍처 전체 개요 및 주요 블록 분해

본 특허가 제시하는 인공지능 모델링 기법의 시스템 아키텍처는 극도로 통합된 엔드투엔드(End-to-End) 구조를 지향하며, 이는 기존의 파편화된 자율주행 인식 파이프라인(객체 탐지 → 추적 → 예측 → 경로 계획)을 근본적으로 혁신하려는 테슬라의 철학을 반영합니다. 전체 시스템은 크게 '시공간 인코더(Spatio-Temporal Encoder)', '점유 디코더(Occupancy Decoder)', 그리고 '쿼리 기반 플래너 인터페이스(Query-based Planner Interface)'의 세 가지 핵심 블록으로 분해할 수 있습니다. 첫째, 시공간 인코더는 차량에 장착된 8개 이상의 다중 카메라로부터 입력되는 비디오 스트림(예: 초당 36프레임)을 실시간으로 처리하여, 시각적 정보를 압축된 고차원 잠재 공간(latent space)의 특징 벡터(feature vector)로 변환하는 역할을 합니다. 이 과정은 단순한 2D 이미지 특징 추출을 넘어, 시간의 흐름에 따른 동적 변화와 여러 카메라 뷰 사이의 3D 기하학적 관계를 모두 포괄하는 4D(3D 공간 + 1D 시간) 표현을 생성하는 것이 핵심입니다. 이를 위해 주로 '비전 트랜스포머(Vision Transformer, ViT)' 기반의 백본 네트워크와 '템포럴 트랜스포머(Temporal Transformer)'가 결합된 구조를 채택합니다. 둘째, 점유 디코더는 인코더가 생성한 풍부한 시공간 특징 벡터를 입력받아, 최종 목표인 3차원 점유 그리드를 생성합니다. 디코더는 특정 공간 좌표(x, y, z)를 '쿼리(query)'로 받아 해당 위치의 점유 확률을 출력하는 방식으로 작동합니다. 이는 모든 복셀을 한 번에 계산하는 것이 아니라, 필요한 부분의 정보를 효율적으로 질의할 수 있게 하여 계산 복잡도를 줄이는 중요한 설계입니다. 주로 '크로스-어텐션(Cross-Attention)' 메커니즘을 사용하여 공간 쿼리와 시공간 특징 벡터 간의 상호작용을 모델링합니다. 셋째, 쿼리 기반 플래너 인터페이스는 생성된 점유 그리드를 하위 시스템인 경로 계획기(Motion Planner)가 직접 사용할 수 있는 형태로 제공합니다. 계획기는 '이 경로에 장애물이 있는가?' 또는 '가장 안전한 주행 경로는 어디인가?'와 같은 질문을 시스템에 던지면, 점유 네트워크는 해당 경로를 구성하는 복셀들의 점유 확률을 종합하여 충돌 위험도와 같은 정량적인 값을 반환합니다. 이처럼 전체 아키텍처는 분리된 모듈의 조합이 아닌, 입력(이미지)에서 출력(주행 가능한 공간)까지 미분 가능한(differentiable) 단일 신경망으로 구성되어, 데이터 기반의 종단간 학습을 통해 전체 시스템의 성능을 최적화할 수 있다는 점에서 기존 방식과 차별화됩니다. 이는 마치 인간의 시각 피질과 운동 피질이 긴밀하게 연결되어 세상을 인식하고 행동을 결정하는 과정과 유사한 정보 처리 흐름을 구현한 것입니다.

2) 구성 요소 상세 분해 (Component-by-Component Analysis)

각 구성 요소를 더 깊이 분석하면 이 기술의 공학적 정수를 파악할 수 있습니다. 시스템의 첫 단추는 8개의 카메라에서 들어오는 각 비디오 프레임을 독립적으로 처리하는 이미지 인코더입니다. 여기서는 주로 ResNet이나 EfficientNet과 같은 합성곱 신경망(CNN) 또는 비전 트랜스포머(ViT)가 사용됩니다. 특히 ViT는 이미지를 여러 개의 작은 '패치(patch)'로 분할하고, 각 패치를 하나의 '토큰(token)'으로 간주하여 트랜스포머의 셀프-어텐션(self-attention) 메커니즘을 적용합니다. 이를 통해 이미지 내의 장거리 의존성(long-range dependency)을 효과적으로 학습하여, 넓은 시야각에 걸친 전체적인 장면의 맥락을 이해하는 데 유리합니다. 각 카메라 뷰에 대한 인코더는 독립적으로 작동하지만, 가중치(weights)는 공유하여(weight sharing) 모델의 파라미터 수를 줄이고 학습 효율을 높입니다. 또한, 각 카메라의 고유한 내부 파라미터(intrinsic parameters)와 차량 내에서의 외부 파라미터(extrinsic parameters, 위치 및 방향) 정보가 이 단계에서 특징 벡터에 주입되어, 2D 픽셀 좌표를 3D 공간과 연관시키는 데 필요한 기하학적 단서를 제공합니다. 각 카메라 뷰와 시간 스텝(time step)에서 추출된 특징 벡터들은 이제 하나의 통합된 표현으로 융합되어야 합니다. 이것이 이 아키텍처의 핵심이며, '템포럴 트랜스포머'가 이 역할을 수행합니다. 이 모듈은 시간 축에 걸친 특징 벡터 시퀀스와 공간 축(다른 카메라 뷰)에 걸친 특징 벡터 집합 모두에 대해 어텐션 연산을 수행합니다. 시간적 어텐션은 객체의 움직임, 속도, 가속도와 같은 동적 정보를 포착하고, 공간적 어텐션은 다른 카메라 뷰에서 포착된 동일한 객체나 장면에 대한 정보를 종합하여 3D 구조를 일관성 있게 재구성합니다. 이 과정에서 '크로스-어텐션'이 핵심적인 역할을 하며, 한 카메라 뷰의 특징을 '쿼리'로 사용하여 다른 뷰의 특징들('키'와 '값')에서 관련 정보를 가져옵니다. 이를 통해 서로 다른 뷰 사이의 기하학적 정합(epipolar geometry)을 데이터 기반으로 학습하게 됩니다. 융합된 시공간 특징 벡터를 최종적인 3D 점유 그리드로 변환하는 단계입니다. 디코더는 사전 정의된 3D 공간상의 각 복셀 위치를 나타내는 '학습 가능한 위치 쿼리(learnable position queries)'를 사용합니다. 각 쿼리는 디코더의 여러 레이어를 통과하면서 시공간 특징 벡터와 크로스-어텐션을 수행합니다. 이 과정을 통해 각 공간 위치 쿼리는 자신과 가장 관련 있는 시각적 증거를 특징 벡터로부터 '수집'하게 됩니다. 마지막으로, 업데이트된 쿼리 벡터는 간단한 다층 퍼셉트론(MLP, Multi-Layer Perceptron) 헤드를 통과하여 해당 위치의 '점유 확률'과 함께 추가적인 속성(예: 속도 벡터, 의미론적 클래스)을 예측합니다. 이 쿼리 기반 접근 방식은 전체 3D 공간을 조밀하게 계산할 필요 없이, 관심 영역(주행 경로 주변 등)에 대해 더 높은 해상도로 예측할 수 있는 유연성을 제공하여 계산 효율성을 크게 향상시킵니다.