안드레이 카파시가 실제로 LLM을 쓰는 방법 (실전 워크플로우 총정리)

하나의 최고 모델은 없다. 도구를 조합하고 지휘하는 새로운 운영체제를 맞이하라

Andrej Karpathy(안드레이 카파시)는 단순한 AI 연구자가 아닙니다. OpenAI 창립 멤버이자 전 Tesla AI 디렉터로서, 인공지능의 최전선에서 발전 과정을 이끌어온 인물입니다. 그가 이전에 올린 “Intro to Large Language Models” 영상이 LLM의 이론적 작동 원리를 설명하는 데 집중했다면, 이번 “How I use LLMs” 영상은 철저하게 실전 활용과 도구의 조합에 초점을 맞춥니다.

Karpathy는 이 영상에서 명확한 메시지를 던집니다. “LLM은 더 이상 단순한 챗봇이 아니라, 새로운 형태의 운영체제(OS)로 진화했다.”기술은 빠르게 발전하고 있지만, 여전히 많은 사람들이 LLM을 단순한 텍스트 생성 도구로만 사용하며 그 잠재력의 극히 일부만 활용하고 있습니다. 그는 자신이 일상과 업무에서 실제로 어떤 도구들을 어떻게 조합해 사용하는지, 그 구체적인 워크플로우를 투명하게 공개했습니다.이 글은 단순한 프롬프트 팁을 나열하는 것이 아닙니다. 세계 최고 수준의 AI 엔지니어가 문제를 어떻게 분해하고, 어떤 작업에 어떤 모델을 배정하며, 기술의 한계를 어떻게 극복하는지 그 ‘생각의 구조’를 상세히 해부한 실전 가이드입니다.

Karpathy는 현재 LLM 생태계를 ‘캄브리아기 대폭발’에 비유합니다. 과거에는 ChatGPT 하나에 모든 것을 의존하려 했지만, 이제는 텍스트, 코드, 이미지, 음성 등 각 분야에 특화된 수많은 모델과 도구가 등장했습니다.

OpenAI는 범용성과 멀티모달(음성·이미지)에서 강점을 보이고, Anthropic의 Claude는 코딩과 긴 문서 처리에서 압도적인 사용성을 제공합니다. Google은 자사 생태계와의 통합을 강조하고 있죠.

LLM 생태계의 폭발적 성장

Karpathy가 가장 강조하는 점은 “하나의 최고 모델에 얽매일 필요가 없다”는 것입니다.

코딩은 Cursor, 빠른 아이디어 스케치는 Claude Artifacts, 복잡한 추론은 o1 모델처럼 상황에 맞는 도구를 선택하고 조합하는 능력이 중요해졌습니다. LLM을 ‘도구 상자 속의 다양한 연장’으로 보는 관점의 전환이 필요하다는 이야기입니다.

LLM의 내부 작동 원리

LLM을 제대로 활용하려면 먼저 내부 원리를 이해해야 합니다. 원리를 모르면 모델의 실수와 한계를 통제할 수 없기 때문입니다.

토큰(Token): LLM은 텍스트를 단어가 아닌 ‘의미 있는 조각(토큰)’으로 쪼개서 이해합니다. 그래서 가끔 단어의 철자를 거꾸로 쓰거나 글자 수를 세는 데 실패하는 현상이 발생합니다.
컨텍스트 윈도우(Context Window): 모델의 단기 기억력에 해당합니다. 한 번에 처리할 수 있는 토큰의 최대 한계로, 이 한계를 넘으면 이전 대화 내용을 잊어버립니다.
시스템 프롬프트: 우리가 보지 못하는 곳에서 모델의 성격과 규칙을 정하는 지시사항입니다.

결국 LLM은 이전 대화를 바탕으로 다음에 올 가장 확률 높은 토큰을 예측하는 통계적 기계입니다. 이 사실을 이해해야 모델이 왜 자신 있게 거짓말(Hallucination)을 하는지 알 수 있습니다.

일상적인 기본 활용법

Karpathy는 LLM을 일상 업무에 자연스럽게 녹여 사용합니다.

엉망으로 쓴 메모나 이메일을 넘기며 “전문적인 비즈니스 톤으로 다듬어줘”라고 요청
새로운 아이디어를 브레인스토밍할 때 핑퐁처럼 주고받으며 확장
긴 문서를 핵심 3줄로 요약하거나, 외국어 자료를 번역

여기서 중요한 팁은 “모델에게 명확한 역할과 제약을 주는 것”입니다. 단순히 “요약해 줘”가 아니라, “너는 10년 차 시니어 엔지니어야. 비개발자 경영진이 이해할 수 있도록 비유를 써서 3가지 글머리 기호로 요약해 줘”처럼 맥락을 구체적으로 좁혀주는 것이 핵심입니다.

모델 선택과 비용 전략

Karpathy는 항상 “지금 어떤 모델을 쓰고 있는지”를 의식하라고 강조합니다.

무겁고 똑똑한 모델(GPT-4o, Claude 3.5 Sonnet)은 복잡한 작업에 강하지만 느리고 비쌉니다. 가볍고 빠른 모델(GPT-4o-mini, Claude 3 Haiku)은 속도가 빠르고 저렴하지만, 어려운 문제에서는 한계를 보입니다.

그의 실전 기준은 명확합니다. 단순한 교정·번역·간단한 포맷팅은 가벼운 모델로 처리하고, 복잡한 설계나 어려운 문제에만 무거운 모델을 사용하라. 이 습관 하나만으로도 비용과 시간을 크게 절감할 수 있습니다.

추론 모델의 활용

OpenAI의 o1 같은 추론 모델은 기존 모델과 작동 방식이 다릅니다.

일반 모델이 빠른 직관(System 1)이라면, 추론 모델은 내부에서 ‘Chain of Thought(생각의 사슬)’를 전개하며 여러 가능성을 검토하고 스스로 오류를 수정한 뒤 답을 내놓습니다(System 2)

Karpathy는 데모에서 복잡한 논리 퍼즐과 수학 문제를 제시하며 이 차이를 보여줍니다. 다만 그는 “단순한 작업에 추론 모델을 쓰는 것은 시간 낭비”라고 지적합니다. 문제의 복잡도에 따라 모델을 선택하는 판단력이 중요합니다.

검색 도구와 Deep Research

기본 검색 도구는 실시간 정보를 가져오는 데 유용하지만, 모델이 가끔 엉뚱한 페이지를 참조하거나 정보를 왜곡할 수 있습니다. 따라서 답변 끝에 달린 출처를 반드시 직접 확인하는 습관이 필요합니다.

Deep Research는 한 단계 더 나아갑니다. 단순 검색이 아니라, 스스로 추가 질문을 만들고 여러 번 반복 탐색하며 종합 리포트를 작성합니다. Karpathy는 실제로 “쥐 수명 연장 연구 방법 정리”나 “전 세계 AI 연구소 규모 테이블 만들기” 같은 복잡한 리서치를 이 기능에 맡겨 놀라운 결과를 얻었습니다. 광범위한 조사 작업에 특히 강력합니다.

파일 업로드와 컨텍스트 활용

PDF나 문서를 업로드해 모델의 컨텍스트에 직접 넣는 기능입니다. 외부 문서를 제공하면 모델이 헛소리할 확률이 줄어듭니다.

다만 너무 많은 문서를 한 번에 넣으면 중요한 정보를 놓치는 ‘건초더미 속 바늘 찾기’ 현상이 발생할 수 있으니, 필요한 문서만 선별해서 업로드하는 것이 좋습니다.

파이썬 인터프리터와 데이터 분석

모델이 직접 코드를 작성하고 실행하는 기능입니다. 데이터 분석과 시각화에 매우 유용하지만, 에러가 자주 발생하는 ‘지저분한’ 환경이기도 합니다.

Karpathy는 모델이 에러가 나면 스스로 로그를 분석하고 코드를 수정하는 과정을 보여주며, 이 과정 자체가 현재 LLM의 자율성을 보여주는 흥미로운 지점이라고 설명합니다.

Advanced Data Analysis 기능도 강력하지만, 그래프를 생성한 후에는 반드시 원본 데이터와 논리적으로 일치하는지 인간이 검증(Sanity Check)해야 한다고 강조합니다.

Claude Artifacts

Claude의 Artifacts 기능은 코드나 다이어그램을 단순한 텍스트가 아니라, 실제로 실행되는 웹 앱이나 시각 자료로 바로 보여줍니다. 로컬 개발 환경 없이 브라우저에서 즉시 프로토타이핑이 가능하다는 점이 큰 장점입니다.

Cursor와 Vibe Coding

Cursor의 Composer 기능은 기존 코드 자동완성과 차원이 다릅니다. 프로젝트 전체를 이해하고 스스로 아키텍처를 기획·수정합니다.Karpathy는 이를 “Vibe Coding”이라고 부릅니다. 인간은 전체적인 흐름과 의도만 자연어로 전달하고, 실제 구현은 AI가 담당하는 새로운 코딩 방식입니다. 데모에서 빈 파일에서 Tic Tac Toe 게임을 만들고, 버그를 말로 지적하자 AI가 스스로 찾아서 고치는 과정을 보여주며 그 위력을 증명했습니다.

음성 모드와 NotebookLM

Advanced Voice Mode는 텍스트를 거치지 않고 오디오를 직접 이해하고 생성합니다. 반응 속도가 빠르고 감정과 뉘앙스까지 파악할 수 있어, 운전 중 브레인스토밍이나 외국어 회화 연습에 특히 유용합니다.

NotebookLM의 팟캐스트 생성 기능은 무거운 문서나 논문을 업로드하면 AI 호스트가 자연스럽게 대화하는 형태로 변환해 줍니다. 출퇴근길이나 산책하면서 내용을 흡수하기에 탁월하지만, 매우 깊은 기술적 디테일을 파고들 때는 한계가 있으므로 목적에 맞게 사용해야 합니다.

이미지·비전 모델 활용

비전 모델은 현실 세계의 정보를 빠르게 디지털로 변환합니다. 영양성분표를 찍어 칼로리와 당분을 계산하거나, 혈액검사 결과를 업로드해 설명을 듣거나, 손으로 쓴 수학 문제를 찍어 풀이 과정을 요청하는 등 실생활에서 매우 유용합니다.

Custom Instructions와 Custom GPTs

Karpathy는 모델이 매번 “좋은 질문입니다” 같은 불필요한 말을 붙이는 것을 싫어합니다. 그래서 Custom Instructions에 “No yapping, be direct”라고 강하게 설정해 두었다고 밝혔습니다.

Custom GPTs는 특정 목적에 맞는 나만의 챗봇을 만들 수 있게 해줍니다. 코딩 전용 GPT나 글쓰기 스타일을 학습시킨 에디터 GPT처럼 반복 작업을 자동화하는 데 효과적입니다.

실전 활용 가이드 (Karpathy 스타일)

초보자

Custom Instructions에 “불필요한 말 없이 짧고 명확하게 본론만 말해”를 먼저 설정하세요. 그 다음 이미지 업로드(OCR)와 기본적인 텍스트 교정부터 익히는 것을 추천합니다.

중급자

Claude Artifacts로 시각 자료를 빠르게 만들어보고, Deep Research 기능을 적극 활용해 리서치 시간을 절약하세요.

고급자

Cursor를 활용한 Vibe Coding으로 실제 개발을 진행하고, Python Interpreter + 추론 모델을 결합해 자율적인 분석 워크플로우를 구축하세요.

강력 추천 조합

Cursor + Claude 3.5 Sonnet: 복잡한 개발 프로젝트에 가장 강력한 조합
파일 업로드 + NotebookLM: 무거운 문서를 팟캐스트로 변환해 이동 중에 소비
Advanced Voice Mode + Custom Instructions: 운전 중이나 음성으로 깊이 있는 대화를 할 때

결론

Andrej Karpathy가 이 영상에서 가장 강조한 메시지는 다음과 같습니다.“LLM은 단순한 챗봇이 아니라, 여러 도구를 조작하고 제어하는 운영체제(OS)다.”이 운영체제를 잘 다루기 위해 우리가 기억해야 할 핵심 원칙은 다음과 같습니다.

모델의 내부 원리를 이해하라
작업의 복잡도에 맞게 모델을 선택하라
Vibe Coding처럼 의도 중심으로 사고하라
AI가 내놓은 결과는 반드시 인간이 검증하라
여러 도구를 적재적소에 조합하는 능력을 키우라

AI 도구들은 아직 불완전하고 가끔 지저분합니다. 하지만 그 한계를 정확히 이해하고 주도적으로 활용하는 사람만이 앞으로의 시대에서 진정한 경쟁력을 가질 것입니다.

지금 당장 시작할 수 있는 가장 쉬운 행동은 하나입니다. ChatGPT나 Claude 설정 창을 열고, 당신만의 Custom Instructions를 단호하게 입력하는 것. 거기서부터 진짜 변화가 시작됩니다.