테슬라, '눈'만으로 물리 법칙을 간파하다: FSD와 옵티머스를 위한 시각적 객체 속성 추정 기술

1) 시스템 아키텍처 전체 개요 및 주요 블록 분해: 이 특허 기술의 핵심은 '시각-물리 엔진(Vision-Physics Engine, VPE)'이라는 이름의 엔드투엔드(End-to-End) 뉴럴 네트워크 아키텍처에 있습니다. VPE는 단순히 이미지를 분류하는 것을 넘어, 시각적 정보로부터 물리적 인과관계를 추론하도록 설계되었습니다. 전체 아키텍처는 데이터의 흐름에 따라 크게 네 가지 모듈로 분해할 수 있습니다.

• 입력 처리 및 특징 추출 스테이지 (Input & Feature Extraction Stage): 시스템의 시작점으로, 8개의 카메라로부터 수신되는 초당 36 프레임의 Raw Bayer 비디오 스트림을 입력받습니다. 이 데이터는 테슬라가 자체 설계한 이미지 신호 프로세서(ISP)를 거쳐 노이즈 제거, 색상 보정 등 전처리가 이루어집니다. 전처리된 이미지는 하이브리드 비전 백본(Hybrid Vision Backbone)으로 전달됩니다. 이 백본은 컨볼루션 신경망(CNN)의 장점인 지역적 특징 추출 능력과 비전 트랜스포머(ViT)의 장점인 전역적 컨텍스트 이해 능력을 결합한 형태입니다. 초기 레이어에서는 CNN이 이미지의 에지, 코너, 텍스처와 같은 저수준 특징을 효율적으로 추출하고, 후반부에서는 ViT가 이미지 전체를 여러 패치로 나누어 패치 간의 상호 관계를 어텐션 메커니즘으로 분석합니다. 이 스테이지의 최종 출력은 각 객체에 대한 고차원 특징 벡터(예: 1024차원)로, 이는 객체의 형태, 색상, 텍스처뿐만 아니라 주변 환경과의 관계까지 압축적으로 인코딩합니다.

• 시간적 동역학 분석 모듈 (Temporal Dynamics Analysis Module): 이 모듈은 VPE의 핵심적인 부분으로, 단일 이미지가 아닌 연속된 이미지 시퀀스(예: 과거 2초간의 72개 프레임)로부터 추출된 특징 벡터들을 입력받습니다. 여기서 '시간적 트랜스포머(Temporal Transformer)'가 사용됩니다. 일반적인 ViT가 이미지 내 공간적 패치들 사이의 관계를 학습한다면, 시간적 트랜스포머는 시간 축을 따라 나열된 특징 벡터들 사이의 관계에 주목합니다. 즉, '어텐션'을 통해 특정 객체가 시간에 따라 어떻게 변화하는지(속도, 가속도, 회전 등)를 집중적으로 학습합니다. 이 과정을 통해 네트워크는 미분, 적분과 같은 동역학의 기본 개념을 데이터로부터 직접 배우게 됩니다. 예를 들어, 차량의 외관 변화가 거의 없지만 위치가 빠르게 변하는 특징 벡터 시퀀스를 보고 '높은 속도'라는 동적 상태를, 속도 변화량이 큰 시퀀스로부터 '가속'이라는 상태를 추론합니다. 이 모듈의 출력은 동적인 정보가 추가된, '시간적으로 농축된(temporally-enriched)' 특징 벡터입니다.

• 물리 속성 추론 헤드 (Physics Property Inference Head): 시간적 동역학 분석 모듈의 출력을 받아 최종적인 물리 속성을 추론하는 부분입니다. 여기서는 그래프 뉴럴 네트워크(GNN)가 핵심적인 역할을 합니다. GNN은 씬(scene)을 하나의 그래프로 간주합니다. 씬 내의 각 객체(차량, 보행자 등)는 노드(node)가 되고, 객체 간의 상호작용 가능성은 엣지(edge)로 표현됩니다. 시간적으로 농축된 특징 벡터가 각 노드에 할당되면, GNN은 '메시지 패싱(message passing)' 과정을 여러 번 반복합니다. 각 반복에서 노드들은 엣지로 연결된 이웃 노드들과 정보를 교환하며 자신의 상태를 업데이트합니다. 이 과정을 통해 GNN은 객체 간의 복잡한 상호작용을 모델링합니다. 예를 들어, 두 차량이 근접할 때, GNN은 두 노드 간의 상호작용을 분석하여 상대적 질량을 추론할 수 있습니다. 최종적으로, GNN의 각 노드 출력단에 연결된 작은 다층 퍼셉트론(MLP) 헤드가 질량, 마찰 계수, 반발 계수와 같은 물리 속성을 확률 분포 형태로 출력합니다. 단일 값이 아닌 분포로 출력함으로써 모델의 불확실성까지 정량화하는 것이 핵심입니다.