카메라가 보는 게 ‘사진’이 아닐 때
교차로에 들어서기 직전, FSD가 붙잡는 정보는 우리가 생각하는 이미지 파일(JPEG)이 아니다. AI Day 2022에서 필 듀안(Phil Duan)이 말한 쪽은 12비트 원시 광자 카운트(raw photon-count) — 이미지 신호 처리(ISP)로 예쁘게 만든 8비트 색상 신호(RGB)를 거치지 않고 더 넓은 동적 범위를 신경망에 바로 넘기는 경로인데, 지연을 줄이고 역광·터널 출구처럼 픽셀이 뭉개지는 구간을 버틴다는 게 회사에서 내세우는 설명이다.
아쇽 엘루스와미(Ashok Elluswamy)가 나중에 정리한 입력 목록은 더 넓어서, 다중 카메라 비디오·다음 수 마일의 내비 경로·속도·관성 측정 장치(IMU)·주행거리계(odometry) 같은 운동학(약 100헤르츠(Hz)급으로 언급)·사이렌 등을 위한 48킬로헤르츠(kHz) 오디오가 한곳에 모이고, L1은 “차 밖의 물리”를 신경망이 먹을 수 있는 신호로 바꾸는 층이며 그 위에서부터가 사람들이 말하는 FSD다.
레이더와 초음파는 이 층에서 빠지는 쪽으로 정리됐는데, 모델 3/Y부터 테슬라 비전(Tesla Vision)으로 전방 레이더를 뺐고 2022년 10월에는 초음파 센서(USS) 제거와 함께 근거리(near-field)를 비전 점유(vision occupancy)로 대체한다고 테슬라가 밝혔으며, HW4 일부 차종 분해 분석(teardown)에 고해상도 레이더 흔적이 있다는 보도는 있어도 그게 지금 FSD 정책 입력으로 쓰이는지까지는 아직 공개로 닫히지 않았다.
이미지를 ‘운전용 공간’으로 바꾸는 층
카메라가 여덟 장이면 그냥 여덟 장의 2D인데, AI Day 2021에서 테슬라는 레그넷(RegNet) 백본과 양방향 특징 피라미드(BiFPN)로 다중 척도 특징을 뽑고 어텐션(attention)으로 여러 시점의 이미지 특징을 하나의 벡터 공간(vector space) 으로 모은다고 설명했다. 가상 카메라로 보정(rectify)해 캘리브 편차를 흡수하고, 시간·공간 큐와 공간 순환 신경망(Spatial RNN)으로 가림·속도·깊이 감을 보강한 뒤 히드라넷(HydraNet) 헤드들이 차선·객체·표지 같은 운전용 표현을 뽑는다.
아쇽은 AI Day 2022에서 그 위로 플래너가 올라간다고 말했는데, “이 신경망들이 벡터 공간을 만들고, 계획(planning)이 그 위에서 돌아간다”는 그 시점의 문장이고, v12 이후에도 레그넷·히드라넷·공간 순환 신경망이 별도 모듈로 남는지 아니면 엔드투엔드(E2E) 정책의 잠재 몸통(latent trunk)으로만 남는지는 공개상 미확인이지만 “이미지에서 바로 조향”이라고 말해도 그 사이에 공유 표현을 만드는 계산이 있었던 건 지워지지 않는다.
기하 > 온톨로지(Geometry > Ontology)
아쇽이 CVPR 2022 WAD에서 밀어붙인 말은 단순해서, 온톨로지 검출만 믿으면 데이터셋에 없는 물체가 구멍으로 새고 카메라별 깊이(depth)는 서로 안 맞으며 이미지 자유공간(freespace)은 3D 오버행을 못 잡는데 — 점유 네트워크(Occupancy Network)는 그 구멍에 대한 답으로 나왔다.
여덟 캠 비디오를 보정(rectify)한 뒤 레그넷과 양방향 특징 피라미드를 돌리고, 3D 위치 질의(position query)가 이미지 특징에 어텐션을 건 다음 주행거리계로 시간을 맞춰 합친 뒤 디컨볼루션(deconv)으로 볼륨을 만들면, 출력은 복셀(voxel)별 점유(확률 또는 이진으로 서술됨)·점유 흐름(occupancy flow)·공개 데모 기준으로는 일부 의미·주행면이다. 광학 흐름(optical flow)과 헷갈리면 안 되고 여기서 흐름은 점유 질량이 3D에서 어떻게 움직이는지에 가까운데, 필은 FSD 신경망 가속기에서 약 10밀리초(ms)(대략 100헤르츠급)라고 말했고 학습 쪽에는 대규모 프레임·자동 라벨 기록이 붙었으며 “클래스를 몰라도 질량이 있으면 피한다”가 기하 > 온톨로지의 핵심이다.
고정 복셀 그리드만으로는 해상도가 모자랄 때 복셀 특징 맵 위에 다층 퍼셉트론(MLP)으로 임의 3D 좌표를 질의해 점유·의미를 뽑는 경로도 공개 설명에 나오는데, 초기에는 정적 점유(static occupancy)와 이동을 나누려다 정지 트럭을 펜스처럼 보는 식의 균열이 생겨서, 같은 틀에서 정적·동적(dynamic)을 함께 내고 흐름≈0을 정적으로 읽는 쪽으로 정리됐다는 게 아쇽 쪽 말이다.
한 가지 조심할 게 있는데 — “v12가 점유망(OccNet)을 삭제했다” 고 단정하면 안 되고, 공개 1차로 확정되지 않았으며 2022–23에는 점유망이 벡터 공간 기하의 핵심으로 제시됐고 이후 토크는 풍부한 표현(rich representation)을 파운데이션·엔드투엔드 쪽으로 넓히는 쪽이었고 특허도 점유 파이프라인을 계속 적고 있다. 양산에서 명시 모듈로 남는지 잠재(latent)로 흡수됐는지는 미확인이라, 기하는 있었고 지금 어디에 ‘모듈’로 붙어 있는지만 모른다.
30만 줄이 빠진 자리
FSD 베타(Beta) v12.1.2 공식 노트는 도시 주행 스택을 단일 엔드투엔드 신경망으로 올리고 명시적 C++ 코드 30만 줄 이상을 대체했으며 수백만 비디오 클립으로 학습했다고 적는데, 일론의 라이브스트림 말은 v11의 명시적 제어 스택(explicit control stack)이 “basically none”이 된다는 쪽에 가깝다.
아이작슨(Isaacson) 전기에 나오는 전환은 더 구체적이어서, “차용 챗지피티(ChatGPT, but for cars)”처럼 규칙을 쓰기보다 인간 운전 클립을 따라 하고 버팔로(Buffalo) 라벨러가 “별점 다섯 우버 드라이버(five-star Uber driver)” 기준으로 고르며 대략 백만 클립 전에는 약했다는 관찰이 나오는데 — 플릿 데이터가 곧 제품 해자라는 회사 쪽 읽기다.
빠진 건 도시 명시적 C++ 제어 / 손으로 쓴 플래너 규칙(hand-written planner rules) 이지 운영체제·런타임·자동 긴급 제동(AEB)·운전자 모니터링(DMS)·액추에이터 인터페이스까지 “코드 제로”가 아니며, 초기 v12는 시내 도로(city-streets)에 한정됐고 고속도로 엔드투엔드 통합은 공개 노트상 v12.5.x(2024-11) 쪽이라서 “차 전체에 코드가 없다”는 말은 여기서 끝난다.
아쇽이 공개한 토큰 산수는 이 전환을 숫자로 남긴다. 여러 캠·고프레임·긴 시간 이력(temporal history)을 패치 토큰으로 치면 입력은 대략 수십억 토큰 규모로 말하고 출력은 조향과 가감속 두 토큰에 가까우며, 명령은 약 36헤르츠 — 대략 27밀리초마다 “차가 지금 무엇을 해야 하는지”를 찍는데, 중간 객체 목록(object list)에 기대지 않고 기울기(gradients)가 센서까지 흐른다는 게 엔드투엔드 학습 쪽 설명이고 보조로 점유·객체·언어·가우시안 스플래팅(Gaussian splatting) 헤드가 있어도 아쇽 기준으로 운전 권한은 제어(control)에 있다 — 디버그·해석용이다.
v14.3 노트는 모방 학습(imitation) 위에 강화학습(RL) 단계와 보상(rewards) 을 올리는데, 선제 안전(proactive safety, 동물 등) 같은 보상·중간 표현 컴파일러(MLIR) 재작성으로 반응(reaction) 약 20% 개선(자기 보고)·자동 충돌 회피 호출(ACE)처럼 수동 운전 중 충돌이 임박하고 자동 긴급 제동만으로 부족할 때 감독형 FSD(Supervised FSD) 스택을 호출하는 제품 레이어가 함께 적혀 있어 — 엔드투엔드가 “규칙을 없앴다”는 말과 안전·제품이 여전히 스택을 호출한다는 말이 같이 성립한다. 월드 시뮬레이터(world simulator)로 상태·행동에서 다음 멀티캠을 예측해 폐루프(closed-loop) 강화학습을 돌린다는 아쇽 쪽 말도 같은 시기에 겹쳐, 실도로만으로 부족한 코너를 합성으로 메우려는 쪽이다.
정책 다음에도 남는 것
예전 릴리즈 노트는 궤적 플래너(trajectory planner)가 스티어링·가감속 명령의 지연을 따로 모델링하고 “하위 제어기 추적(downstream controller tracking)”을 말했는데 비례·적분·미분(PID)인지 모델 예측 제어(MPC)인지는 공개된 적 없고, v12+ 이후에도 “재설계된 제어기(Redesigned controller)”, “광자-제어 지연(photon-to-control latency)”, 아쇽의 36헤르츠 명령 같은 문구가 남아 정책과 액추에이터 사이에 무언가의 제어 인터페이스가 제품에 있다는 읽기를 강하게 받치지만 그게 궤적 추적기인지 상태 추적기인지는 원문만으로 확정 못 한다.
소유자 매뉴얼(Owner’s Manual)의 자동 긴급 제동·장애물 인지 가속(OAA)은 FSD 정책과 별개인 상시 안전층이라서 불가피한 충돌에서 자동 제동·저속 즉시 장애에서 토크 감소가 들어가고, 자동 충돌 회피 호출(ACE)은 그 위에서 “자동 긴급 제동만으로 부족할 때 조향 포함 회피로 FSD를 켠다”는 제품 문장이다. 개입 없는 연속 기록 화면(streak UI)은 제품 기능으로 확인되지만 개입당 마일(miles-per-intervention)을 공식 안전 증명으로 늘리면 안 되므로 — 보상·개입 신호는 학습과 화면 경험에 쓰이는 공개 조각이지 벤치마크 대체재가 아니다.
학습은 코텍스(Cortex), 차는 추론 칩
플릿 비디오에서 실패·개입 클립을 고르고 사람이 고르거나 자동으로 라벨을 붙인 뒤 모방 학습을 돌리며, v14.3부터는 강화학습과 신경망 월드 시뮬레이터 폐루프가 붙고 평가(eval)를 거친 뒤 무선 업데이트(OTA)로 나간다. 아쇽이 말하는 “데이터의 나이아가라 폭포(Niagara Falls of data)”와 열린 루프 손실(open-loop loss)이 실세계와 같지 않다는 경고가 이 루프의 양끝에 있다.
컴퓨트 쪽 숫자는 여기서 자주 미끄러지는데, 테슬라 2024년 4분기 업데이트는 기가 텍사스 코텍스(Cortex) 에 약 5만 H100이 있고 V13 활성화에 기여했다고 적고 2025년 2분기에는 H200 1.6만을 더해 약 6.7만 H100 환산(equivalent) 이라고 하며, 도조(Dojo)는 AI Day의 맞춤 훈련 역사로 남고 2025년 8월경 팀 해체와 머스크의 “도조 2는 진화적 막다른 길(evolutionary dead end)” 발언 이후 현재 FSD 주 훈련 클러스터로 쓰면 안 된다. “도조가 FSD를 돌린다”는 말은 날짜를 붙이지 않으면 틀린다.
차 안은 L7이라서 오토노미 데이(Autonomy Day) 2019 기준 HW3는 다이(die)당 신경망 처리 장치(NPU) 구성으로 칩 하나 72 TOPS(초당 조 연산), 듀얼로 144 TOPS라는 테슬라 슬라이드 숫자가 있고, HW4/AI4는 분해 분석상 메모리·공정·커넥터 변화가 보이며 머스크는 HW3 대비 대략 3–8배 역량을 말했지만 정확한 TOPS를 백과사전처럼 박으면 안 된다. AI5는 로드맵·경영진 발언 구간에 두고 커뮤니티 TOPS표를 스펙처럼 올리지 않는 편이 맞으며, 훈련(코텍스)과 추론(HW3/HW4)을 한 문장에 섞으면 헷갈린다.
한 줄로 남기면
FSD를 “카메라가 알아서 운전”으로 읽으면 L1만 남는데, 실제로 공개된 내용은 더 두꺼워서 광자 카운트(photon-count) 입력이 공유 표현과(한때) 점유 기하를 만들고 v12는 도시 명시적 C++ 30만 줄을 정책 신경망으로 갈아치웠으며, 그 뒤에도 컨트롤러·자동 긴급 제동·자동 충돌 회피 호출·보상 신호가 남고 학습은 코텍스에서 돌고 추론은 차내 시스템온칩(SoC)에서 돈다.
무엇이 빠졌는지와 무엇이 아직 사이에 있는지를 한 줄에 섞지 말 것. 점유망 삭제·코드 제로·HW4 TOPS 확정·도조=현재 학습·개입당 마일=안전 증명 — 이 다섯은 단정하면 안 되는 지뢰고, 남는 건 작동 방식이라서 빛이 들어와서 공간이 만들어지고 정책이 조향·가감속을 찍으며 안전층이 그 위를 자르고, 무게는 클러스터가 아니라 플릿과 보상 루프에 쌓인다.