본문으로 건너뛰기

Ollama 사용 방법

Ollama 가이드 - 사용 방법

Ollama 사용 방법​

Ollama는 별도의 리포지토리를 통해 LLM 모델을 제공합니다. 종류에 대해서는 이곳을 통해 확인이 가능하며 한국어에 능통했던 LLM 모델과 사양은 아래와 같습니다.

정보
  • 운영체제 : Ubuntu 24.04
모델파라미터 크기GPU VRAM 권장사양명령어
Gemma312B16GBollama run gemma3:12b
Gemma327B32GBollama run gemma3:27b
Phi414B16GBollama run phi4:14b
정보
  • 7B 파라미터마다 8GB의 배수가 되는 DRAM or VRAM이 필요합니다.

1. LLM 모델 실행​

run 옵션을 통해 LLM 모델이 작동하며 서버 내부에 파일이 없을 경우 다운로드가 진행 된 뒤 질문을 남길 수 있습니다.

ollama run gemma3:27b
LLM 동작
>>> Send a message (/? for help)

>>> 학습한 데이터는 몇년도 데이터인가요?
2022년 12월까지의 데이터를 학습했습니다. 따라서 2022년까지 발생한 사건, 뉴스, 트렌드 등에 대한 정보를 포함하고 있습니다.

>>> /bye

2. LLM 모델 동작 확인​

ps 옵션을 통해 동작하는 모델의 내용과 상태를 확인할 수 있습니다.

ollama ps
NAME          ID              SIZE     PROCESSOR          UNTIL   
gemma3:27b    a418f5838eaf    21 GB    30%/70% CPU/GPU    Forever

NAME       : LLM 모델 이름
ID         : LLM 모델 ID 
SIZE       : 사용 용량
PROCESSOR  : CPU(DRAM), GPU(VRAM)의 사용량
UNTIL      : 작동 상태

3. LLM 모델 다운로드​

LLM 모델만을 다운로드 받고 싶을 경우 pull 옵션을 통해 진행할 수 있습니다.

ollama pull phi4:14b

4. LLM 모델 설치 리스트 확인​

ollama ls
NAME                                      ID              SIZE      MODIFIED     
phi4:14b                                  ac896e5b8b34    9.1 GB    22 hours ago     
gemma3:27b                                a418f5838eaf    17 GB     23 hours ago      
gemma3:12b                                f4031aab637d    8.1 GB    24 hours ago


NAME       : LLM 모델 이름
ID         : LLM 모델 ID 
SIZE       : 사용 룡량
MODIFIED   : 다운로드 된 이후 지난 시간

5. LLM 모델 사용 정지​

ollama stop gemma3:27b

6. LLM 모델 삭제​

ollama rm gemma3:27b

Open WebUI와 연동하여 사용​

Open WebUI는 실행 시 Ollama와 자동적으로 연동하여 편리하게 사용이 가능합니다. 먼저 서버에서 8080 포트가 활성화 되어있는지 확인합니다.

netstat -nltp
tcp        0      0 0.0.0.0:8080        0.0.0.0:*           LISTEN      41666/python3

만일 8080 포트가 확인되지 않는다면 Open WebUI 서비스의 상태 체크가 필요합니다.

systemctl status openwebui.service

1. Web 접속​

http://xxx.xxx.xxx.xxx:8080

2. 계정 생성​

관리자가 될 계정정보를 입력 후 관리자 계정 생성을 클릭합니다. 콘솔 대시보드 페이지

3. 로그인 후 첫 화면​

모델 선택을 클릭하면 자신이 다운로드 받은 LLM 모델이 나열되거나 없다면 다운로드가 가능합니다. 가능하면 ollama pull 명령을 통해 터미널에서 다운로드 받는것을 권장 합니다.

콘솔 대시보드 페이지

4. LLM 모델 사용​

phi4를 선택 후 질문을 남길 수 있습니다. 콘솔 대시보드 페이지

5. LLM 모델 성능 결과 값 확인​

LLM 모델에 관한 성능 및 결과 값을 확인할 수 있습니다. 콘솔 대시보드 페이지

방화벽 사용 권장​

정보

서버와 Open WebUI에 기본적으로 사용되는 22, 8080 포트에 불필요한 외부 접근을 막고 안정적인 사용을 위해서 자체적인 설정 또는 매뉴얼 통한 방화벽 설정을 적용하여 사용할 것을 권장합니다.