Ollama 설치 및 실행

 

Ollama는 DeepSeek, Qwen, Llama, Gemma 등의 LLM(Large Language Model)을 로컬에서 실행할 수 있도록 해줍니다. 따라서 LLM 설치 이후에는 네트워크 연결 없이 실행할 수 있으며 개인 정보, 사내 기밀 등 민감한 정보를 로컬에서 안전하게 처리할 수 있습니다.

Ollama 설치

https://ollama.com/

Ollama

 

CLI에서 Ollama 버전 확인

ollama -v

ollama version is 0.7.0

 

CLI에서 Ollama 모델 리스트 확인

ollama list

NAME               ID              SIZE      MODIFIED
gemma3:12B         f4031aab637d    8.1 GB    2 minutes ago
gemma3:4B          a2af6cc3eb7f    3.3 GB    5 minutes ago
gemma3:1B          8648f39daa8f    815 MB    25 hours ago
llama3.2:latest    a80c4f17acd5    2.0 GB    2 days ago

저는 gemma3 모델을 경량부터 추가로 설치해봤습니다. 경량 모델은 아무래도 지능 지표가 낮다보니 답변이 매끄럽지 않으며, 간단한 SQL 생성을 요구해도 의도대로 답하지 않습니다. 무거워질수록 확실히 답변의 질이 달라집니다.

 

AI 모델 설치

https://github.com/ollama/ollama?tab=readme-ov-file#model-library

GitHub - ollama/ollama: Get up and running with Llama 3.3, DeepSeek-R1, Phi-4, Gemma 3, Mistral Small 3.1 and other large langua

에서 Model library를 확인하고 설치하시면 됩니다.

ollama pull gemma3:1B

 

실행

ollama run gemma3:1B
>>> Send a message (/? for help)

설치 안된 상태로 실행하면 자동으로 설치하고 실행합니다. 위와 같이 프롬프트가 생기고, 대화를 나눌 수 있습니다. 대화를 종료하려면 프롬프트에 '/bye'를 입력하면 됩니다.

 

로컬 API 서버 실행

 

기본적으로 CLI에서 ollama run을 하거나 설치한 Ollama 앱을 실행하면 맥북 기준 상단에 위과 같은 아이콘이 나타나면서 11434 포트에서 서버가 실행됩니다.

lsof -i :11434

COMMAND   PID         USER   FD   TYPE             DEVICE SIZE/OFF NODE NAME
ollama  84268 dongwook-kim    3u  IPv4 0xe978a56161fa17d0      0t0  TCP localhost:11434 (LISTEN)

 

 

또는, CLI에서 아래의 명령어로 직접 로컬 서버를 실행하고, 서버를 통해 설치된 LLM을 사용할 수 있습니다.

ollama serve

 

 

서버를 실행했다면, 이제 http 통신으로 질문을 해보겠습니다. Postman으로 테스트해도 좋으나, CLI에서 간단하게 curl로 테스트해보려면 cmd + d로 윈도우를 스플릿하고 아래와 같이 명령하시면 됩니다.

파라미터는 Ollama api 문서에서 확인할 수 있습니다.

curl http://127.0.0.1:11434/api/generate -d '{"model": "gemma3:12B", "prompt": "임진왜란이 일어난 연도는?", "stream": false}'

{
    "model":"gemma3:12B", 
    "created_at":"2025-05-16T06:26:57.198513Z", 
    "response":"임진왜란은 **1592년**에 일어났습니다.", 
    "done":true, 
    "done_reason":"stop", 
    "context":[105,2364,107,239002,238275,241142,240108,237077,14706,237430,239201,15027,125657,236881,106,107,105,4368,107,239002,238275,241142,240108,237456,5213,236770,236810,236819,236778,238322,1018,237223,14706,237430,241664,10131,236761], 
    "total_duration":9384263125, 
    "load_duration":6839887917, 
    "prompt_eval_count":20, 
    "prompt_eval_duration":1629000667, 
    "eval_count":19, 
    "eval_duration":914554625
}%

 

---

참고

Ollama api 문서

(https://github.com/ollama/ollama/blob/main/docs/api.md)