1) 시스템 아키텍처 전체 개요 및 주요 블록 분해
본 특허가 제시하는 '데이터 증강 시스템'은 단순한 소프트웨어 알고리즘이 아닌, 테슬라의 데이터 센터 내에서 유기적으로 작동하는 거대한 데이터 정제 및 생성 파이프라인이다. 이 아키텍처는 크게 6개의 핵심 모듈로 분해할 수 있으며, 페타바이트급의 원시 데이터(raw data)를 Dojo가 가장 선호하는 고밀도 정보(high-entropy) 훈련 데이터로 변환하는 'AI를 위한 정유 공장' 역할을 수행한다.
[입력]: 전 세계 수백만 대의 테슬라 차량에서 수집되는 초당 수십 메가바이트의 연속적인 센서 데이터 스트림. 이는 8대의 카메라 영상, 레이더, IMU, GPS, 스티어링 휠 각도, 가속 페달 입력값 등 차량의 모든 상태 정보를 포함한다.
-
모듈 1: 데이터 수집 및 자동 분류(Data Ingestion & Auto-Triage): 첫 단계는 정보의 홍수 속에서 '진주'를 찾아내는 과정이다. 모든 데이터를 저장하고 분석하는 것은 비효율적이므로, 특정 '트리거(trigger)' 조건이 발생했을 때의 데이터 클립(보통 이벤트 전후 10-30초)을 우선적으로 업로드한다. 트리거는 운전자의 개입(FSD 해제), 급제동(가속도 임계값 초과), 에어백 전개, 트랙션 컨트롤 활성화, 또는 AI 모델이 낮은 확신도(low confidence score)를 보인 경우 등 다양하게 정의된다. 이 모듈은 하루 수십억 개의 잠재적 이벤트 중 학습 가치가 가장 높은 수만 개의 '시나리오 후보'를 선별하는 거대한 필터 역할을 한다.
-
모듈 2: 3D 시나리오 재구성 엔진(Scenario Reconstruction Engine): 선별된 데이터 클립은 이 엔진의 입력으로 들어간다. 엔진은 8대의 카메라에서 촬영된 다중 시점 2D 비디오 스트림을 활용하여 해당 장면의 3D 공간과 시간을 완벽하게 복원한다. 이는 NeRF(Neural Radiance Fields)와 유사한 기술을 기반으로 작동한다. 즉, 수백 장의 이미지만으로 특정 각도에서 본 새로운 이미지를 생성할 뿐만 아니라, 장면을 구성하는 모든 객체(차량, 보행자, 차선, 신호등)의 3D 메쉬, 텍스처, 그리고 시간에 따른 궤적(trajectory)까지 완벽하게 추출한다. 결과물은 단순한 3D 모델이 아닌, 물리적 속성(질량, 속도, 가속도)을 포함하는 '시공간 디지털 트윈'이다.
-
모듈 3: 물리 및 센서 시뮬레이션 코어(Physics & Sensor Simulation Core): 재구성된 디지털 트윈에 생명을 불어넣는 심장부다. 이 코어는 두 부분으로 나뉜다. 첫째, '물리 엔진'은 차량 동역학, 타이어-노면 마찰(Pacejka Magic Formula 등), 공기 저항, 빛의 광선 추적(Ray Tracing) 등 현실 세계의 물리 법칙을 시뮬레이션한다. 둘째, '센서 시뮬레이션 엔진'은 이러한 물리적 상호작용의 결과를 테슬라 차량의 센서가 '어떻게 인식할 것인가'를 모델링한다. 예를 들어, 광선 추적을 통해 계산된 빛이 가상의 CMOS 센서에 도달할 때 발생하는 렌즈 왜곡, 노이즈, 노출 변화 등을 시뮬레이션하여 실제 카메라 이미지와 구별이 불가능한 수준의 결과물을 생성한다. 레이더 역시 전파의 송수신, 도플러 효과, 다중 경로 반사 등을 시뮬레이션하여 가상의 포인트 클라우드를 만들어낸다.