테슬라의 '물리 법칙 AI': 카메라만으로 모든 물체의 무게와 재질을 간파하는 기술, 옵티머스와 FSD의 최종 진화

시스템 아키텍처 전체 개요 및 주요 블록 분해 본 특허가 제시하는 '시각 기반 물리 속성 추정 시스템'의 아키텍처는 데이터의 흐름에 따라 크게 4개의 핵심 단계로 구성됩니다: [데이터 수집 및 전처리], [시공간 특징 추출 및 3D 재구성], [물리 속성 추론], 그리고 [행동 계획 생성]. 이는 마치 인간의 '눈-시신경-두뇌-운동신경'으로 이어지는 정보 처리 과정을 정교하게 모방한 파이프라인입니다. 첫째, [데이터 수집 및 전처리] 단계에서는 차량 또는 로봇에 장착된 8개 이상의 고해상도, 고-다이내믹 레인지(HDR) 카메라로부터 동기화된 비디오 스트림을 수신합니다. 여기서 핵심은 '하드웨어 레벨 동기화'입니다. 마이크로초(µs) 단위의 정밀한 타임스탬프를 모든 이미지 프레임에 각인하여, 서로 다른 시점에서 촬영된 이미지 간의 시간적 오차를 최소화합니다. 이 정밀도는 후속 단계에서 객체의 미세한 움직임과 변형을 분석하여 가속도나 변형률과 같은 동역학적 파라미터를 정확하게 계산하는 데 결정적인 역할을 합니다. 둘째, [시공간 특징 추출 및 3D 재구성] 단계는 동기화된 2D 이미지 스트림을 입력받아 의미 있는 3D 정보로 변환하는 과정입니다. 이 단계의 중심에는 '시공간 비전 트랜스포머(Spatio-Temporal Vision Transformer)'가 자리합니다. 이 네트워크는 이미지를 여러 패치로 분할하고, 시간 축과 공간 축을 아우르는 셀프-어텐션(self-attention) 메커니즘을 통해 각 패치 간의 상호 연관성을 학습합니다. 이를 통해 단일 이미지만으로는 파악할 수 없는 객체의 동적인 맥락(예: 공이 날아가는 궤적, 천이 펄럭이는 형태)을 강력한 특징 벡터로 인코딩합니다. 동시에, NeRF(Neural Radiance Fields)와 유사한 '신경망 렌더링' 기술을 사용하여 여러 시점의 2D 이미지로부터 밀도 높은 3D 볼륨(volume)과 텍스처를 재구성합니다. 이로써 시스템은 객체의 정확한 3D 형상과 위치를 복원하게 됩니다. 셋째, 가장 핵심적인 [물리 속성 추론] 단계에서는 앞서 추출된 3D 정보와 시공간 특징 벡터를 입력받습니다. 이 단계는 다시 [동역학 분석 모듈], [재료 분석 모듈], 그리고 이 둘의 결과를 종합하는 [베이지안 추론 엔진]으로 나뉩니다. 동역학 분석 모듈은 3D 모델의 시간적 변화를 추적하여 속도, 가속도, 각속도 등을 계산하고, 재료 분석 모듈은 표면의 미세한 변형, 빛의 반사 특성(specularity) 변화 등을 분석하여 강성이나 마찰력과 관련된 단서를 포착합니다. 베이지안 추론 엔진은 이 모든 관측치를 기반으로, '만약 이 물체의 질량이 5kg이고, 마찰 계수가 0.7이라면, 지금과 같은 움직임이 관찰될 확률은 얼마인가?'와 같은 질문을 반복적으로 계산하며 가장 가능성 높은 물리 속성(질량, 관성 모멘트, 탄성 계수 등)의 분포를 추정합니다. 마지막으로, [행동 계획 생성] 단계에서는 추론된 물리 속성을 바탕으로 로봇이나 차량의 다음 행동을 결정합니다. 예를 들어, 옵티머스가 '가볍고 깨지기 쉬운 유리컵'으로 추정된 물체를 집을 때는 파지력을 5N 이하로 정밀하게 제어하고, FSD 차량이 '도로에 굴러다니는 가벼운 비닐봉지'를 마주쳤을 때는 불필요한 급정거 대신 그대로 통과하는 결정을 내리게 됩니다. 이 전체 아키텍처는 엔드-투-엔드(end-to-end) 미분 가능한 구조로 설계되어, 행동의 결과(예: 물체를 성공적으로 집었는가?)가 다시 네트워크의 파라미터를 업데이트하는 강화학습(Reinforcement Learning) 루프를 형성하며 지속적으로 성능을 개선합니다.