1. 개요
로컬 LLM(local LLM)은 언어 모델을 개인 컴퓨터나 직접 관리하는 서버에서 실행하는 방식이다. 모델 파일을 내려받아 CPU·GPU에 올리면 질문에 대한 답변을 클라우드가 아닌 개인 장비에서 생성한다. 노트북에서 작은 모델을 돌리는 것도, 사내 서버에 모델을 올려 직원들이 접속하는 것도 여기에 들어간다.개인 기기에서 돌아가는 로컬 LLM은 온디바이스 인공지능에 해당한다. 사내 서버를 쓰는 경우에는 회사가 모델을 직접 운영하더라도 직원의 PC에서 추론하는 것은 아니다. LLM 모델과 실행 프로그램을 미리 받았다면 인터넷 없이도 AI와 대화할 수 있지만, 모델을 받거나 웹 검색을 붙일 때는 인터넷 통신이 필요하다.
2. 역사
2.1. LLaMA와 개인용 PC 구동
개인 기기에서 언어 모델을 돌리는 시도는 오래전부터 있었지만, 지금의 로컬 LLM 붐은 2023년 2월 메타가 LLaMA를 발표한것을 시작으로 볼 수 있다. 가장 작은 모델이 70억 파라메터여서 당시의 대형 모델을 개인 장비에서 다뤄 볼 수 있다는 기대를 키웠다. 첫 공개는 연구용이었으며 메타는 비상업적 라이선스를 적용해 신청자에게만 가중치를 제공했다.[1]뒤이어 나온 llama.cpp는 LLaMA를 CPU나 애플 실리콘 맥의 GPU에서 실행할 길을 넓혔고, 양자화본은 필요한 메모리를 더 줄였다. 초기에는 파일을 직접 변환하고 명령어를 입력해야 하는 일이 많았지만 개인용 기기에서 LLM이 실제로 답을 내는 경험은 꽤 큰 화제였다.
r/LocalLLaMA라는 레딧 커뮤니티 이름에도 당시 분위기가 남아 있다. 이름과 달리 지금은 LLaMA만 다루는 곳이 아니어서 Qwen·Gemma·DeepSeek 등 로컬 LLM 주제를 모두 다루는 커뮤니티로 변모했다.
2.2. 공개 모델의 확대
2023년 7월 나온 Llama 2는 연구 목적이 아니더라도 쓸 수 있도록 활용 범위를 넓혔으나 메타의 커뮤니티 라이선스는 따라야 했다. 같은 해 9월 미스트랄 AI는 Mistral 7B를 Apache 2.0으로 공개했다. 이용자 입장에서는 어느 모델이 잘 돌아가는지에 더해 어떤 라이선스로 쓸 수 있는지도 고를 수 있게 된 시기다.[2]이후 구글의 Gemma, 알리바바의 Qwen 처럼 공개 모델이 늘어났다.
2025년에는 DeepSeek-R1, Qwen3, OpenAI의 gpt-oss처럼 답을 내기 전에 추론 과정을 거치는 모델도 공개되었다. 실행 프로그램도 발전해 모델 파일을 직접 변환하지 않고 화면에서 내려받아 쓰는 일이 흔해졌다.[3]
2.3. 현재
2026년 현재는 휴대전화에서 작은 모델을 돌릴 수 있을 정도로 발전하였으며, 개인이 여러 GPU를 묶어 대형 모델을 운영하는 경우도 있다. 이미지 입력과 외부 도구 호출까지 지원하는 모델이 나왔고 실행 프로그램에서 검색해 클릭 몇 번으로 모델을 받아 바로 이용하는 것도 가능해졌다. 그렇다고 공개된 모델을 전부 개인 PC에서 쾌적하게 쓸 수 있는 것은 아니다. 파일은 받아도 메모리에 못 올리거나, 올린 뒤 첫 답변까지 한참 기다리는 경우가 있다.[4]이제는 '돌아간다'보다 '쓸 만하게 돌아간다'가 중요하다. 짧은 질문에 답하는 것과 수만 토큰짜리 문서를 읽는 것은 메모리 사용량부터 대기 시간까지 차이가 크다.[5]
3. 오픈 웨이트
오픈 웨이트(open-weight)는 학습이 끝난 모델의 가중치를 내려받을 수 있게 공개했다는 뜻이다. 가중치는 모델의 계산에 쓰이는 수치로, 지원되는 실행 프로그램에 넣으면 직접 추론할 수 있다. 그렇다고 모델을 만드는 데 쓴 데이터와 학습 코드까지 볼 수 있는 것은 아니다. 오픈 소스 인공지능을 정의한 오픈소스 이니셔티브는 모델 매개변수뿐 아니라 학습 데이터에 관한 충분한 정보와 필요한 코드 등의 공개도 요구한다.[6]실제로 모델 저장소를 둘러보면 '무료 다운로드', '오픈 웨이트', '오픈 소스'라는 말이 뒤섞여 있다. 내려받을 수 있어도 상업적 이용은 금지될 수 있고, 같은 계열이라도 버전마다 조건이 달라지기도 한다. 개인적인 시험을 넘어 서비스를 만들 생각이라면 모델 이름보다 받으려는 파일의 라이선스를 확인하는 편이 정확하다.
가중치를 공개한 업체와 모델 계열의 예시는 다음과 같다. 같은 업체의 모든 모델이 공개되는 것은 아니며, 계열 안에서도 버전에 따라 조건이 바뀔 수 있다.
- 메타 - Llama: 초기 LLaMA로 로컬 구동 붐에 불을 붙였고 이후 Llama 2부터 활용 범위를 넓혔다. 자체 커뮤니티 라이선스를 쓰므로 버전별 조건을 확인할 필요가 있다.[7]
- 알리바바 - Qwen: 작은 모델부터 대형 모델까지 크기가 다양하다. Qwen3의 공개 모델은 Apache 2.0 라이선스로 배포됐다.[8]
- 구글 - Gemma: 2024년부터 공개 모델 계열을 제공했다. 2026년에 발표된 Gemma 4도 공개 가중치를 제공한다.[9]
- 미스트랄 AI - Mistral: Mistral 7B를 Apache 2.0으로 공개했다. 이후 모델마다 공개 여부와 이용 조건이 다르다.[10]
- DeepSeek - DeepSeek: DeepSeek-R1 등 추론 모델의 가중치를 공개했다. 모델 규모가 큰 편이어서 원본 전체를 실행하는 것과 작은 증류 모델을 실행하는 것은 필요한 장비가 다르다.[11]
- 마이크로소프트 - Phi: 비교적 작은 모델을 포함하는 계열이다. 모델별로 텍스트 외 입력 지원 여부와 라이선스가 다르다.[12]
- OpenAI - gpt-oss: gpt-oss-20b와 gpt-oss-120b의 가중치를 Apache 2.0 라이선스로 공개했다. 이름에 GPT가 들어간 다른 서비스 모델까지 내려받을 수 있다는 뜻은 아니다.[13]
- 엔비디아 - Nemotron: GPU 제조사이면서 공개 모델도 직접 내놓는다. Nemotron 3 Nano는 가중치를 배포했고 llama.cpp와 LM Studio 등의 실행 프로그램을 지원한다. 더 큰 모델은 공개돼 있어도 개인 PC의 사양을 훌쩍 넘길 수 있다.[14]
- LG AI연구원 - EXAONE: 한국어 사용자가 살펴볼 만한 국내 공개 모델 계열이다. EXAONE 4.5는 별도의 비상업 라이선스로 배포된다.[15]
4. 구동 방식
로컬 LLM을 쓰려면 모델 파일과 이를 읽을 프로그램이 필요하다. 프로그램의 채팅 화면에서 바로 대화하거나 로컬 서버를 켜 다른 앱에서 접속할 수도 있다. 앱이 PC에 설치됐더라도 원격 모델을 선택했다면 추론은 원격 서버에서 하므로 휴대폰 등 다른 장비에서도 ChatGPT를 사용하는 것처럼 이용하는것도 가능하다.일반적인 대화와 문서 요약은 이미 학습된 모델을 사용하는 추론이다. 대화 내용을 저장하거나 문서를 검색해 입력에 첨부하는 기능도 그 자체로 모델의 가중치를 바꾸지는 않는다. 모델을 특정 작업에 맞게 바꾸는 미세 조정은 별도의 학습 과정이다.
4.1. 양자화와 모델 파일
모델 이름 뒤에 붙는 Q4, 4bit 같은 표시는 양자화를 의미한다. 학습된 가중치를 적은 비트로 표현해 파일 크기와 메모리 부담을 줄이는 방식이다. 80억 매개변수를 16비트로 저장하면 가중치만 단순 계산으로 약 16GB지만, 전부 4비트로 저장한다면 약 4GB다. 실제 구동시에는 KV 캐시와 작업 공간도 필요하다. 따라서 '4GB짜리 모델'이라고 해서 RAM이나 VRAM이 정확히 4GB면 충분한 것은 아니다.[16]로컬에서 흔히 보는 Q4_K_M, Q5_K_M, Q8_0는 llama.cpp에서 쓰는 양자화 형식의 이름이다. 앞의 숫자는 대략적인 정밀도를 가늠하게 해 주지만 모델 전체가 빠짐없이 그 비트 수로 저장됐다는 뜻은 아니다. 블록별 보정값이 붙고 일부 가중치에는 다른 정밀도를 적용할 수 있어, 같은 4비트 계열이라도 파일 크기가 달라진다. Q4_K_M보다 Q5_K_M이나 Q8_0가 대체로 용량을 더 쓰는 대신 원본 가중치의 정보를 더 남기지만, 그 차이가 실제 답변에서 얼마나 드러나는지는 모델과 작업에 따라 다르다.
작게 만들수록 무조건 빨라지는 것도 아니다. 메모리에서 읽을 데이터가 줄면 속도 이득이 있지만, 실행 장치가 해당 형식의 계산을 잘 지원하는지와 변환에 드는 비용도 속도에 영향을 준다. 특히 모델이 VRAM에 전부 들어가느냐에 따라 체감 차이가 크다. 처음에는 같은 모델의 Q4_K_M 정도로 시작해 보고, 여유 메모리가 있다면 더 높은 정밀도와 답변 품질을 비교하는 편이 쉽다. 이미 양자화한 파일을 다시 높은 비트로 바꿔도 잃어버린 정보가 돌아오지는 않으며, 재양자화는 품질을 더 떨어뜨릴 수도 있다.
로컬 구동에 널리 쓰이는 GGUF는 모델의 텐서와 메타데이터를 담는 파일 형식이다. 양자화된 가중치를 GGUF 파일에 담을 수 있지만, GGUF 자체가 양자화 기법을 뜻하지는 않는다. 실행 프로그램이 모델의 구조와 파일 형식을 지원해야 해당 모델을 사용할 수 있다.[17]
긴 문맥에서 메모리를 차지하는 KV 캐시도 별도로 양자화할 수 있지만, 프로그램과 모델의 지원 여부를 확인해야 한다. 가중치를 4비트로 받았는데도 긴 대화에서 메모리가 부족하다면 모델 파일을 더 줄이기 전에 문맥 길이와 KV 캐시 설정을 살펴볼 만하다. 단, KV 캐시의 양자화는 짧은 컨텍스트에서는 이 차이가 잘 드러나지 않지만, 긴 컨텍스트에서도 에이전틱 코딩과 같이 정교하고 길게 이어지는 워크로드에서는 품질 저하가 급격해지므로 용도에 따라 가중치는 양자화 해도 KV 캐시 만큼은 양자화를 하지 않는 것을 권장하기도 한다.[18]
4.2. 필요 사양
필요 사양은 모델 파일 크기만으로 정해지지 않는다. 같은 모델도 양자화 방식, 입력 길이, 동시 사용자 수에 따라 메모리 사용량이 달라진다. 대화의 앞부분을 다시 계산하지 않도록 저장하는 KV 캐시도 공간을 차지한다. 긴 문서를 읽히거나 대화가 길어지면 이 부분이 커진다.[19]GPU 없이 CPU만으로도 실행할 수 있지만 지원되는 GPU를 이용하면 훨씬 빠르다. 실행 프로그램의 GPU 오프로딩은 모델의 일부 또는 전부를 GPU 메모리(VRAM)에 올려 계산하게 하는 설정을 말한다. llama.cpp의 GPU 레이어 수 설정이 한 예다. VRAM에 다 들어가지 않는 모델도 남은 부분을 시스템 RAM에 두고 실행할 수 있지만, CPU에서 처리하는 부분과 장치 사이의 데이터 이동이 속도를 제한한다. 반대로 GPU 메모리를 아끼려고 일부 가중치나 KV 캐시를 CPU 쪽으로 옮기는 것도 오프로딩이라 부른다. 무엇을 어디로 옮기는지 설정 이름과 설명을 함께 봐야 한다.
MoE(전문가 혼합) 모델은 토큰마다 전체 가중치 중 일부 '전문가'만 골라 계산한다. Qwen3.6-35B-A3B의 '35B'는 전체 매개변수, 'A3B'는 토큰을 처리할 때 활성화되는 매개변수 규모를 가리킨다. 계산량은 줄일 수 있어도 모델 파일과 메모리 부담이 3B급 모델과 같아지는 것은 아니다.
파일을 저장할 공간이 넉넉해도 실행 중 메모리가 모자라면 소용없다. 가중치 외에 긴 문맥을 처리할 KV 캐시와 운영체제가 쓸 메모리까지 남겨 둬야 하기 때문이다. 모델을 겨우 띄운 상태에서 CPU로 계산이 넘어가거나 저장 장치에 스와핑이 걸리면 답변을 기다리는 시간이 길어질 수 있다.
4.3. 문맥 길이
문맥 길이는 모델이 한 번에 볼 수 있는 입력과 대화 기록의 범위다. 모델 소개에 긴 문맥을 지원한다고 써 있어도, 설정을 늘리면 입력을 처리하는 시간과 KV 캐시의 메모리 사용량이 함께 늘어난다. 처음엔 잘 돌아가던 4비트 모델이 긴 대화나 큰 문서를 넣었을 때 갑자기 느려지는 일이 생긴다. 소개 페이지의 최대 문맥 길이는 내 기기에서 쾌적하게 쓸 수 있는 길이와 같지 않다.긴 문서는 통째로 입력하기보다 질문과 관련된 부분을 찾아 전달하는 검색 증강 생성(RAG)으로 다루기도 한다. 문맥을 아낄 수 있는 대신 필요한 문단을 검색하지 못하면 모델도 그 내용을 참고할 수 없다. 문서를 첨부해 대화했다고 모델이 그 내용을 영구히 학습하는 것은 아니다.
4.4. 이미지와 툴 호출
이미지나 음성을 이해하려면 모델 자체가 해당 입력을 지원해야 하고 실행 프로그램도 이를 처리할 수 있어야 한다. 웹 검색, 계산기, 파일 읽기 역시 로컬 LLM에 저절로 붙는 기능은 아니다. 웹 검색도 일반적인 클라우드 LLM과 달리 기본적으로는 지원하지 않기 때문에 별도로 툴 호출을 통해 이용해야 한다.5. 파인튜닝
파인튜닝은 이미 학습된 모델에 새로운 학습을 더해 특정 말투나 작업 방식에 맞추는 일이다. 질문과 원하는 답변을 짝지은 자료로 학습하는 SFT가 대표적이다. 예를 들면 사내 상담 기록의 형식에 맞춰 답하도록 훈련할 수 있지만, 문서를 몇 개 첨부하거나 대화 기록을 저장하는 것만으로 미세 조정이 되는 것은 아니다.모델의 모든 가중치를 다시 조정하는 방식은 장비 부담이 크다. 개인이나 작은 팀은 원본 가중치를 고정하고 적은 수의 추가 가중치만 학습하는 LoRA를 많이 쓴다. 이 추가 가중치를 어댑터라고 하며, 사용할 때는 맞는 기본 모델과 함께 불러오거나 기본 모델에 합칠 수 있다. QLoRA는 기본 모델을 4비트로 올린 상태에서 LoRA 어댑터를 학습해 필요한 메모리를 더 줄이는 방법이다.
추론이 돌아가는 기기라고 학습도 바로 할 수 있는 것은 아니다. 학습에는 입력뿐 아니라 중간 계산 결과와 학습 상태를 보관할 메모리가 필요하고, 자료의 양과 길이에 따라 시간도 크게 달라진다. 작업 방식이나 출력 형식을 익히게 하려는 것인지, 자주 바뀌는 사내 문서를 질문하게 하려는 것인지도 구분할 필요가 있다. 후자라면 문서를 검색해 필요한 부분을 붙이는 RAG가 관리하기 쉬운 경우가 많으며, 파인튜닝한 모델이 문서의 최신 내용을 자동으로 따라가지는 않는다.
학습이 끝나면 훈련에 쓰지 않은 질문으로 원본 모델과 비교해야 한다. 훈련 자료에 나온 문장만 그럴듯하게 되풀이한다면 실무에서 쓸 성능이 좋아졌다고 보기 어렵다. 배포시에는 원본 모델과 학습 자료의 이용 조건도 따져봐야 한다.
6. 무검열 모델
커뮤니티에서 무검열 모델(uncensored model)이라고 부르는 것은 대개 일반적인 대화용 모델보다 답변 거절을 덜 하도록 만든 모델이다. 어떤 질문을 얼마나 거절하는지와 어떤 종류의 답을 내는지는 모델마다 다르므로 이름에 'uncensored'가 붙었다는 사실만으로 모든 제한이 사라진다고 볼 수 없다.만드는 방법도 한 가지가 아니다. 거절하도록 가르치는 자료를 줄인 채 파인튜닝하기도 하고, 이미 학습된 모델의 거절 성향에 관여하는 내부 표현을 조정하는 시도도 있다.
7. 이용 방법
처음이라면 LM Studio 같은 그래픽 프로그램에서 대화용 모델을 받아 보는 것이 쉽다. 터미널에 익숙하다면 llama.cpp나 Ollama로 직접 실행하고 로컬 API 서버를 열 수도 있다. 모델 이름만 보고 파일을 받으면 뜻밖에 기본 모델이나 텍스트 전용 버전을 받기 쉽다. 대화에 쓸 모델인지, 양자화본은 무엇인지, 이미지 입력이 필요한지까지 살펴보는 편이 좋다.[20]작은 대화용 모델로 먼저 실행해 본 다음, 평소 하려는 일을 그대로 시켜 보는 편이 빠르다. 한국어 채팅이 목적이면 한국어로 묻고, 코드 작업이라면 실제 코드 파일을 넣어 보면 된다. 문서 요약도 짧은 예문 대신 평소 다루는 분량으로 시험해야 한다. 첫 답변까지의 대기 시간, 답변이 이어지는 속도, 내용의 정확성은 이때 따로 체감된다.
모델을 로컬 서버로 실행하면 다른 앱이나 스크립트가 API로 연결할 수 있다. 이때 서버 주소가 자신의 컴퓨터로만 열려 있는지, 같은 네트워크의 다른 기기에서도 접근할 수 있는지는 설정에 따라 다르다. 사내 공유나 외부 접속에 쓰려면 접속 권한과 네트워크 노출 범위를 직접 확인해야 한다.
8. 활용
8.1. 개인 문서와 지식 검색
회의록, 논문, 매뉴얼을 읽히고 내용을 물어볼 수 있다. 외부 서비스에 문서를 올리기 꺼려진다면 문서 추출과 검색까지 로컬에서 처리하도록 구성하면 된다. 모델이 원문을 통째로 외우는 방식은 아니어서, 잘못 검색한 문단을 바탕으로 그럴듯한 답을 만들 수도 있다. 답변에 인용된 내용은 원문과 대조해 봐야 한다.8.2. 기업 내부망과 민감 정보
로컬 LLM을 개인 PC의 취미로만 볼 수는 없다. 기업은 설계도, 소스 코드, 고객 정보 같은 자료를 외부 AI 서비스에 그대로 보내기 어려워 사내 서버에 모델을 두거나 내부망에서만 접속하도록 구성하기도 한다. 이런 방식은 온프레미스(on-premises)라고 불리며, 금융·의료·제조처럼 데이터 위치와 접근 권한을 따져야 하는 분야에서 도입 수요가 있다.국가핵심기술을 보유한 기업이나 연구기관은 기술 유출을 막기 위한 보호조치를 해야 하므로, 관련 자료를 LLM에 넣을 때도 어디로 전송되고 누가 열람할 수 있는지 검토해야 하기 때문에 로컬 LLM을 사용하는 경우가 많다.
8.3. 코딩과 자동화
코드 편집기와 연결하면 짧은 함수 설명이나 오류 원인 추정, 반복적인 코드 작성에 쓸 만하다. 큰 저장소를 한꺼번에 읽히거나 파일을 고치고 테스트하는 과정을 여러 번 반복시키면 속도와 문맥 길이의 한계가 드러난다. 호출당 요금이 없어 여러 번 시험하기는 편하지만, 명령 실행까지 맡겼다면 모델에 연결한 도구가 어떤 권한을 가졌는지도 살펴봐야 한다.[21]8.4. 오프라인 대화
모델을 미리 받아 뒀다면 인터넷이 끊긴 곳에서도 대화와 글쓰기는 가능하다. 그러나 웹 검색을 연결하지 않은 모델은 최신 정보 확인이 불가능하기 때문에 활용성에 제한이 있다.9. 사용성
9.1. 생성 속도
로컬 LLM 모델이 질문과 첨부 문서를 처리하는 구간을 프리필(prefill), 답변을 한 토큰씩 쓰는 구간을 디코드(decode)라고 한다. 요청부터 첫 토큰까지 걸린 시간은 TTFT(time to first token)인데, 모델을 불러오거나 요청이 대기한 시간까지 포함될 수 있다.[22]짧은 질문으로 긴 글을 쓰게 한다면 디코드가 중요하지만 수십 쪽 PDF를 넣고 요약을 부탁할 때는 답변이 출력되기 전에 오랜 시간을 대기해야 한다. 디코드 속도만 보면 이 대기 시간을 놓치기 쉽다. 같은 문서로 두 번째 질문을 했을 때 갑자기 빨라지는 경우도 있는데, 앞부분의 계산 결과를 재사용하는 프롬프트 캐시 때문이다.
일반적인 경우는 클라우드의 LLM 대비 로컬 LLM속도가 현저히 느리며, 로컬 LLM을 구축하고자 하는 경우 사전에 속도를 체감해 보고 그래픽카드 구입 결정을 내리는 것이 좋다.[23]
디코드 속도를 높이는 설정에서 추측 디코딩(speculative decoding)을 볼 수 있다. 먼저 다음 토큰 몇 개를 후보로 내고 원래 모델이 한꺼번에 확인하는 방식으로, 작은 보조 모델을 이용하는 것이 대표적이다. 제안이 잘 맞으면 한 토큰씩 순서대로 계산하는 횟수를 줄일 수 있다. 다만 후보를 만드는 데도 시간이 들기 때문에, 모델과 장비의 조합에 따라 이득이 작거나 오히려 느려질 수 있다.[24]
MTP(Multi-Token Prediction, 다중 토큰 예측)는 모델에 함께 학습된 추가 예측 층으로 다음 토큰 여러 개의 후보를 만드는 방식이다. 이 후보 역시 본 모델의 확인을 거친다. 별도 보조 모델을 내려받는 방식과는 다르며, MTP용 가중치를 갖춘 모델과 이를 지원하는 실행 프로그램에서만 쓸 수 있다. MTP를 사용하는 경우 디코딩 속도를 크게 향상시킬 수 있기 때문에 대부분의 로컬 LLM 사용자들은 MTP를 지원하는 모델을 선호한다.
9.2. 맥에서의 로컬 LLM 구동
애플 실리콘 맥은 CPU와 GPU가 메모리를 공유하므로 용량이 넉넉하면 일반적인 그래픽 카드의 VRAM에는 못 올릴 크기의 모델도 실행해 볼 수 있다. 여기서 자주 생기는 오해가 메모리가 크니 상위 모델을 돌릴 수 있다라는 기대다. 하지만 모델이 들어가는 것과 쓸만하게 사용할 수 있는 것은 따로 봐야 한다.답변이 시작된 뒤에는 제법 빠르더라도 긴 입력에서는 첫 글자까지 한참 기다려야 하는 경우가 많아 프리필이 느리다는 평가가 나온다.그래서 맥의 로컬 LLM 성능을 확인하려면 모델에 평소 다루는 길이의 문서를 넣고 첫 토큰이 나올 때까지 재 보는 쪽이 낫다. 같은 맥에서도 모델 크기·양자화·문맥 길이·캐시 상태·실행 프로그램에 따라 결과가 달라진다.[25]
9.3. 고사양 그래픽카드에서 구동
별도 그래픽 카드를 쓰는 PC라면 모델과 KV 캐시가 VRAM에 올라가는지부터 봐야 한다. GPU 자체가 빨라도 메모리가 모자라 모델 일부를 CPU에서 처리하기 시작하면 속도가 떨어질 수 있다. 제품의 연산 성능보다 자신이 쓸 모델과 문맥 길이를 VRAM이 감당하는지가 먼저다.모델이 VRAM에 들어가도 실행 프로그램이 GPU를 제대로 활용하지 못하면 속도가 기대에 못 미친다. NVIDIA의 CUDA와 AMD의 HIP는 지원 범위가 다르고, 프로그램 업데이트에 따라 같은 카드의 속도가 바뀌기도 한다. GPU 이름만으로 성능을 단정하기 어렵다.
9.4. 답변 품질
간단한 질의응답시 만족스러웠던 모델이 긴 보고서의 숫자를 비교할 때는 엉뚱한 답을 내놓을 수 있고, 한국어 대화가 자연스럽다고 프로그래밍을 잘 하는 것도 아니다. 로컬 LLM의 품질은 모델과 작업의 조합에 따라 달라지므로 공개 벤치마크 순위보다 평소 자주 하는 일로 직접 시험하는 편이 낫다. 특히, 로컬 LLM은 웹 검색이 연결되지 않는 경우 할루시네이션이 발생할 가능성이 높기 때문에 출처를 재확인하는 것이 좋다.모델이 답변을 이상하게 이어 가거나 지시를 잘 따르지 않는다면 모델 자체의 성능 외에 양자화가 적용된 버전인지, 실행 프로그램이 올바른 설정을 적용했는지도 확인해야 한다.
9.5. 장비 가격
로컬 LLM을 본격적으로 쓰려면 GPU의 연산 성능만큼 VRAM 용량이 중요하다. 그래서 메모리가 넉넉한 소비자용 그래픽 카드에 게임 외의 AI 수요가 붙었고, 공개 모델의 확산이 그래픽 메모리 시장에도 영향을 줬다.고용량 제품의 가격은 실제로 크게 뛰었다. 엔비디아가 2025년 RTX 5090의 미국 출시 권장가를 1,999달러로 발표했지만, 2026년 8월 미국 최저가는 4,900달러에 형성되었다.
가격 상승에는 로컬 LLM 이용자뿐 아니라 데이터센터의 AI 투자, 그래픽 메모리 공급, 제품별 재고 상황이 함께 얽혀 있다. 2026년에는 메모리 업체들이 서버용 제품에 생산 능력을 더 배분하면서 PC용 RAM과 그래픽 카드에 쓰는 GDDR의 공급도 빠듯해졌다. 이용자 입장에서는 모델 파일은 무료로 받아도 원하는 크기의 모델을 GPU에 올리기 위해 새 장비를 사려면 예상보다 큰돈이 들 수 있다는 것이 문제다. 모델 크기와 양자화를 먼저 정하고 필요한 VRAM을 따져 보는 편이 낫다.
9.6. 운영 비용
직접 돌리는 모델에는 외부 API의 호출당 요금이 붙지 않지만 그렇다고 무조건 싸지는 않다. 가끔 쓰려고 새 PC를 사는 경우와 이미 가진 장비에서 매일 여러 작업을 돌리는 경우의 계산은 다르다. 기기값과 전기료, 저장 공간까지 고려해야 한다.10. 실행 프로그램
- llama.cpp: 다양한 하드웨어에서 언어 모델을 구동하는 추론 프로그램. 명령행 도구와 서버 기능을 제공한다.
- MLX LM: 애플 실리콘 맥의 MLX를 이용해 언어 모델을 구동하는 도구.
11. 모델을 고를 때
같은 계열에서도 Base는 추가 학습에, Instruct나 Chat은 대화에 맞춰 나온 경우가 많다. 이미지 입력이 필요하다면 비전 인식 기능을 지원하는 버전과 실행 프로그램을 함께 골라야 한다.[1] 메타의 2023년 LLaMA 발표[2] Llama 2 발표, Llama 2 라이선스, Mistral 7B 발표[3] Gemma 발표, DeepSeek-R1 모델 저장소, Qwen3 발표, gpt-oss-20b 공식 문서, LM Studio 공식 문서[4] Gemma 4 발표, Qwen3의 모델 크기와 로컬 실행 안내, LM Studio 공식 문서[5] Hugging Face의 KV 캐시 설명[6] Open Source AI Definition 1.0[7] 초기 LLaMA 발표, Llama 2 라이선스[8] Qwen3 발표[9] 초기 Gemma 발표, Gemma 4 발표[10] Mistral 7B 발표, 미스트랄 AI 모델 목록[11] DeepSeek-R1 공식 저장소[12] Microsoft Research의 Phi 모델 소개[13] gpt-oss-20b, gpt-oss-120b 공식 문서[14] 엔비디아의 Nemotron 3 발표[15] EXAONE 4.5 공식 저장소[16] Hugging Face의 양자화 원리, KV 캐시 설명[17] ggml의 GGUF 형식 설명[18] 코딩을 예시로 단순한 이름이 비슷한 두 변수를 잘못 사용하는 상황이 생기기도 하며 CoT의 길이에 따라 했던 실수를 계속 반복하며 토큰을 더 쓰는 악효과가 발생해 양자화로 줄인 메모리 사용량을 의미 없게 만들기도 한다.[19] Hugging Face, KV 캐시 설명, Ollama FAQ[20] LM Studio 공식 문서, llama.cpp 공식 문서, Hugging Face의 대화용 모델 설명[21] Ollama의 도구 호출 설명, KV 캐시와 문맥[22] llama.cpp의 성능 자료도 프롬프트 처리(PP)와 토큰 생성(TG)을 구분한다. 프리필·TTFT·디코드 설명 참고.[23] 로컬 LLM의 생성 속도를 비교해 볼 수 있는 사이트.[24] llama.cpp의 추측 디코딩 설명, Hugging Face의 보조 디코딩 설명[25] 맥북에서 로컬 LLM 속도 체감[26] 각 프로그램의 기능은 llama.cpp, Ollama, LM Studio 공식 문서를 참고.