테슬라 FSD 엔드투엔드 완전 분석: AI칩, Dojo 슈퍼컴퓨터, v14 추론 과정까지 심층 해부

자, 오늘은 테슬라 FSD가 어떻게 ‘생각’하는지, 정말 처음부터 끝까지 깊숙이 들어가 보겠습니다. 여러분, 카메라로 들어온 영상이 어떻게 핸들을 돌리고 브레이크를 밟는 명령으로 바뀌는지 궁금하지 않으셨나요? 사람이 규칙을 하나하나 적은 게 아니라, 거대한 신경망이 픽셀을 보고 스스로 판단해서 운전하는 시스템입니다. 지금부터 AI 칩, 카메라 입력, End-to-End 추론 과정, Dojo 슈퍼컴퓨터의 칩 내부 연산 구조와 Training Tile, 그리고 FSD v14의 추론 능력까지, 흐름을 놓치지 않으면서 최대한 자세하고 쉽게 설명드리겠습니다.

1. 하드웨어부터 시작합시다 — AI 칩이 하는 일

테슬라 차량 안에는 FSD 전용 AI 컴퓨터가 들어있습니다. 현재 주력은 Hardware 4 (AI4)입니다. 듀얼 SoC 구조에 총 32GB 메모리를 탑재하고 있어서, 8개 카메라에서 들어오는 영상을 실시간으로 처리합니다. 초당 처리하는 픽셀 수가 거의 10억 개에 달합니다. 다음 세대인 AI5는 2026년 7월 삼성 2nm 공정에서 테이프아웃이 확인됐습니다. 성능이 AI4 대비 크게 향상될 예정이며, 초기에는 Optimus와 데이터센터에 먼저 투입된 뒤 차량에는 2027년 이후 본격 적용될 전망입니다. 이 칩의 역할은 명확합니다. 카메라 영상을 받아서 거대한 신경망에 넣고, 그 결과를 받아 핸들과 페달을 제어하는 것입니다.

2. 카메라 픽셀이 들어오는 순간 — Pure Vision

테슬라는 라이다나 레이더를 사용하지 않습니다. 오직 8개의 카메라만으로 360도 시야를 구성합니다. 전방·측면·후방 카메라가 동시에 세상을 보고, 그 영상 데이터가 그대로 AI 칩으로 들어갑니다. 여기에 차량의 속도, 가속도, 방향 같은 운동 정보(kinematic data), 내비게이션 정보, 소리까지 함께 입력됩니다. Ashok Elluswamy(테슬라 AI 소프트웨어 VP)는 이 방식을 “Photon In, Control Out”이라고 부릅니다. 빛이 센서에 닿는 순간부터 최종 제어 명령까지를 하나의 신경망이 담당한다는 뜻입니다.

3. End-to-End 추론 과정 — 픽셀이 어떻게 ‘판단’이 되는가

여기가 전체 시스템의 핵심입니다. 전통적인 자율주행은 인지 → 예측 → 계획 → 제어를 별도의 모듈로 나누고 사람이 만든 규칙으로 연결합니다. 테슬라는 이 구조를 거의 버렸습니다. 하나의 거대한 신경망이 원시 픽셀을 입력받아 바로 조향과 가감속 명령을 출력합니다. 실제로 어떤 일이 일어나는지 단계별로 자세히 살펴보겠습니다.

1. 입력 단계 (Raw Input) 최근 수십 초 분량의 8개 카메라 영상이 동시에 들어옵니다. 고해상도 영상을 작은 패치 단위로 나누면 입력 토큰 수가 약 20억 개에 달합니다. 여기에 차량 상태 정보와 내비게이션 경로가 함께 붙습니다.

2. 시간적 맥락 파악 (Temporal Modeling) 신경망은 한 장의 사진을 보는 것이 아닙니다. Transformer의 Attention 메커니즘을 통해 “지난 1~2초 동안 앞차가 어떻게 움직였는지”, “보행자가 어느 방향으로 발을 내디뎠는지”를 지속적으로 추적합니다. 이 시간적 정보가 이후 추론의 기초가 됩니다.

3. 공간 이해와 중간 표현 생성 네트워크 내부에서는 3D Occupancy Grid(공간이 비어있는지, 장애물이 있는지), Bird’s-Eye-View 맵, 객체·차선·신호등 정보가 자연스럽게 만들어집니다. 이 정보들은 실제 제어 명령을 직접 만들지는 않습니다. 다만 엔지니어가 “모델이 세상을 어떻게 이해하고 있는지” 확인하고 디버깅하는 데 사용됩니다. 완전한 블랙박스가 아니라, 중간 과정을 들여다볼 수 있는 구조인 셈입니다.

4. 추론(Reasoning) 단계 FSD v14에서 본격적으로 강화된 부분입니다. 단순 반응을 넘어서 “조금 앞을 내다보는 판단”이 일어납니다.

• 공사 구간을 감지하면 단순히 멈추는 것이 아니라 전체 경로를 다시 계산해 우회 여부를 결정합니다.

• 목적지 근처에 도착하면 여러 주차 가능한 자리 중에서 더 합리적인 위치를 선택합니다.

• 애매한 상황(길 위에 서 있는 사람이나 동물 등)에서는 픽셀의 미세한 움직임까지 고려해 “이 존재가 움직일 가능성이 높은지”를 판단합니다.

5. 최종 출력 (Control Output) 이 모든 과정을 거친 후 신경망은

“스티어링 휠을 몇 도 돌릴지”

“가속 페달이나 브레이크를 얼마나 밟을지”

단 두 개의 값을 출력합니다.

이 과정이 초당 수십 회 반복되면서 실제 운전이 이루어집니다.

이 방식이 강력한 이유는 사람이 미처 규칙으로 표현하지 못하는 미묘한 판단까지 데이터로부터 직접 배우기 때문입니다.

4. 이 모든 것을 학습시키는 곳 — Dojo 슈퍼컴퓨터 심층 분석

그렇다면 이렇게 거대한 신경망은 어디서 배우는 것일까요? 바로 Dojo입니다. Dojo는 테슬라가 영상 학습에 특화해 직접 설계한 슈퍼컴퓨터입니다. 구조를 가장 작은 단위부터 살펴보겠습니다.

1. D1 칩 (기본 연산 단위)

Dojo의 심장입니다.

일반 GPU와 다르게 영상 데이터를 처리할 때 발생하는 데이터 이동 병목을 줄이기 위해 설계되었습니다.

칩 내부에는 수천 개의 작은 연산 코어가 들어 있으며, 이 코어들이 동시에 행렬 곱셈(Matrix Multiplication)과 합성곱(Convolution) 연산을 수행합니다.

신경망 학습에서 가장 많이 쓰이는 이 연산들을 매우 효율적으로 처리하도록 최적화되어 있습니다.

또한 칩 내부에 큰 용량의 고속 메모리를 배치해 데이터 재사용률을 높였습니다.

외부 메모리에 자주 접근하지 않아도 되게 만든 것이 핵심 설계 포인트입니다.

2. Training Tile

D1 칩 25개를 하나의 정사각형 형태로 촘촘히 배치한 것이 Training Tile입니다.

여기서 가장 중요한 것은 칩과 칩 사이의 연결입니다.

일반 서버에서는 칩 사이 데이터가 상대적으로 느린 경로를 거치지만, Dojo Training Tile은 칩들을 매우 높은 대역폭으로 직접 연결해 놓았습니다.

한 칩이 처리한 중간 결과를 옆 칩이 거의 지연 없이 받아서 이어서 계산할 수 있습니다.

영상처럼 용량이 큰 데이터를 학습할 때 이 연결 속도가 전체 학습 효율을 좌우합니다.

3. System Tray → Cabinet → ExaPOD

Training Tile 여러 개를 모아 System Tray를 만들고, Tray를 수직으로 쌓아 Cabinet을 구성합니다.

최종적으로 여러 Cabinet을 연결한 것이 ExaPOD입니다.

이 계층 구조 덕분에 수만 개의 D1 칩이 하나의 거대한 뇌처럼 작동할 수 있습니다.

Dojo의 진정한 강점은 단순히 연산을 빨리 하는 것이 아니라, 데이터를 빠르게 이동시키면서 동시에 연산하는 능력에 있습니다.

테슬라 차량 플릿이 하루에 만들어내는 데이터가 “500년 분량의 주행”에 해당한다고 하니, 이 엄청난 양을 효율적으로 학습하려면 이런 맞춤형 구조가 필요했던 것입니다.

5. FSD v14의 추론 기능 — 단순 반응을 넘어서

이전 버전이 “지금 당장 어떻게 할지”에 집중했다면,

v14는 앞을 내다보는 추론(Reasoning) 능력이 본격적으로 들어가기 시작했습니다. 구체적으로 추가된 능력은 다음과 같습니다.

• 공사 구간을 만났을 때 단순히 멈추거나 차선만 바꾸는 것이 아니라, 전체 경로를 다시 계산해 우회하는 능력
• 목적지 근처에 도착했을 때 여러 주차 가능한 위치 중에서 더 합리적인 곳을 선택하는 능력
• 복잡한 교차로나 예외 상황에서 “사람들이 보통 이런 경우에는 이렇게 행동하더라”는 식의 맥락 판단

Ashok는 일부 추론 기능이 이미 v14.2에 들어갔으며, 앞으로 더 복잡한 추론 능력이 계속 추가될 것이라고 밝혔습니다.

이 능력 역시 사람이 규칙을 작성한 결과가 아니라, 수많은 실제 주행 사례를 통해 신경망이 스스로 패턴을 익힌 결과입니다.

6. 데이터가 만드는 선순환

이 모든 시스템의 밑바탕에는 데이터가 있습니다.

2026년 7월 기준으로 테슬라 플릿의 누적 FSD 주행 거리는 120억 마일을 넘어섰습니다.

그중 도시 주행만 45억 마일이 넘고, 매주 2억 마일 이상의 새로운 데이터가 쌓이고 있습니다.

차량이 스스로 “이건 흥미로운 장면이다”라고 판단해 데이터를 올리고,

Dojo에서 학습하고,

더 좋아진 모델이 다시 차량으로 내려가고,

그 모델이 더 많은 사람을 FSD로 끌어들이는 완벽한 선순환 구조가 돌아가고 있습니다.

마무리

정리하겠습니다. 테슬라 FSD는 8개 카메라의 픽셀 → 거대한 End-to-End 신경망 → 실시간 조향·가감속 명령 이라는 구조를,

Dojo라는 맞춤형 슈퍼컴퓨터(D1 칩의 내부 연산 최적화와 Training Tile의 고속 연결 구조)와 전 세계 차량 플릿의 데이터로 학습시킨 시스템입니다.

그리고 v14에 들어오면서 단순 반응을 넘어서, 시간적 맥락을 이해하고 앞을 내다보는 추론 능력까지 갖추기 시작했습니다.

앞으로 AI5 칩이 본격 적용되고, 음성으로 자연스럽게 명령을 내리는 기능까지 더해지면, 지금 우리가 보고 있는 FSD는 또 한 단계 크게 진화할 것입니다.

이 글이 테슬라 FSD의 전체 그림과 기술적 깊이를 이해하는 데 도움이 되었기를 바랍니다.