1) 시스템 아키텍처 전체 개요 및 주요 블록 분해
본 특허가 제시하는 '비전 기반 점유 예측 시스템'은 테슬라의 FSD(Full Self-Driving) 스택의 핵심인 '월드 모델(World Model)'을 구축하기 위한 정교한 엔드-투-엔드(end-to-end) 딥러닝 아키텍처입니다. 전체 시스템은 크게 5개의 주요 모듈로 분해할 수 있으며, 이는 원시 센서 데이터(raw sensor data)로부터 고도로 정제된 4D 시공간 예측 정보를 생성하는 파이프라인을 형성합니다.
첫째, '다중 시점 이미지 캡처 및 전처리 모듈(Multi-view Image Capture & Pre-processing Module)'입니다. 이 모듈은 차량에 장착된 8대의 카메라(전방 3대, 측면 4대, 후방 1대)로부터 동기화된 비디오 프레임을 수신하는 역할을 합니다. 각 카메라는 고유한 내부 파라미터(초점 거리, 주점)와 외부 파라미터(차량 좌표계 기준 위치 및 방향)를 가지며, 이 정보는 후속 모듈에서 3D 공간 재구성을 위한 핵심적인 기하학적 제약 조건으로 사용됩니다. 수신된 이미지는 실시간으로 정규화(normalization), 색 공간 변환, 왜곡 보정(distortion correction) 등의 전처리 과정을 거쳐 뉴럴 네트워크 입력에 적합한 형태로 변환됩니다.
둘째, '공유 이미지 백본 네트워크(Shared Image Backbone Network)'입니다. 전처리된 8개의 이미지 스트림은 각각 동일한 가중치를 공유하는 강력한 컨볼루션 뉴럴 네트워크(CNN) 백본을 통과합니다. 이 백본은 일반적으로 EfficientNet, RegNet 또는 최근의 ConvNeXt와 같은 고성능 아키텍처를 기반으로 하며, 이미지의 저수준 특징(edge, corner)부터 고수준 의미론적 특징(semantic features)까지 계층적으로 추출하는 역할을 합니다. 여기서 중요한 점은 가중치 공유(weight sharing)를 통해 계산 효율성을 극대화하고, 서로 다른 시점에서 포착된 동일 객체에 대해 일관된 특징 표현을 학습하도록 유도한다는 것입니다.
셋째, '뷰 변환 및 BEV 융합 모듈(View Transformation & BEV Fusion Module)'입니다. 이는 아키텍처의 핵심 중 하나로, 8개의 독립적인 2D 이미지 특징 맵(feature map)을 차량 중심의 통일된 3D 조감도(Bird's-Eye-View, BEV) 공간으로 변환하고 융합하는 역할을 수행합니다. 이 과정은 '트랜스포머(Transformer)' 아키텍처, 특히 '크로스 어텐션(Cross-Attention)' 메커니즘을 통해 구현됩니다. BEV 공간의 각 그리드 셀은 '쿼리(Query)' 역할을 하여, 8개 이미지 전체의 특징 픽셀('키(Key)'와 '값(Value)') 중에서 자신과 기하학적으로 관련된 정보들을 어텐션 스코어에 따라 가중합하여 자신의 특징 벡터를 구성합니다. 이 방식을 통해 폐색(occlusion)이나 원거리 객체에 대한 정보를 여러 뷰에서 종합하여 강건한 3D 표현을 생성할 수 있습니다.
넷째, '시간적 융합 및 예측 모듈(Temporal Fusion & Prediction Module)'입니다. 이 모듈은 단일 시점의 BEV 특징 맵을 넘어, 시간의 흐름에 따른 동적 변화를 모델링합니다. 현재 시점을 포함한 과거 일정 시간(예: 1-2초) 동안의 BEV 특징 맵 시퀀스가 입력으로 주어지면, '시간적 트랜스포머' 또는 3D 컨볼루션 네트워크가 이 시퀀스를 처리합니다. 이 과정에서 모델은 객체의 이동 궤적, 속도, 가속도뿐만 아니라, 객체 간의 복잡한 상호작용까지 학습하게 됩니다. 이 모듈의 출력은 단순한 현재 상태가 아닌, 미래의 여러 시간 단계(예: 0.5초, 1초, 2초 후)에 대한 예측을 포함합니다.