Ollama (가상서버)

KR1-Z07에서 제공되는 가상서버에서 사용할 수 있는 Ollama는 CPU 및 GPU을 혼합해서 사용 할 수 있는 경량 플랫폼으로 전용 리포지토리를 통해 양자화 모델을 작동 할 수 있습니다.

팁

• 상품이 활성화가 되어있지 않은 경우는 온라인 기술지원에 해당 내용을 남겨주시면 담당자 확인후 서비스 신청 가능여부를 재확인해 드리겠습니다.
• 상품 신청 및 사용 가이드는 가상서버 가이드를 참고 해주시기 바랍니다.
• 리얼 서버(베어메탈, 맞춤형 서버) 기반의 GPU 상품은 cloudv에서 주문하실 수 있습니다.

정보

• 지능형 챗봇 플랫폼 및 생성형 API 시스템
• RAG 및 검색 기반 AI 서비스
• 블록체인 및 AI 연계한 DApp 수행
• 사용자 경험(UX) 및 비주얼 데이터 최적화 서비스
• reference 매뉴얼을 통한 손쉬운 설치 및 사용 방법 제안

상품 사양 정보 및 LLM 모델 벤치마크

A6000

제원 : CUDA 10,752, 48GB(GDDR6-ECC)

상품명	GPU	GPU memory	vCPU	Memory	Storage(OS)	Traffic	가격(부가세 별도)
A6000.G1	1	48GB	8vCPU	60GB	100GB	620GB/월	18,200원/일 490,000/월
A6000.G2	2	96GB	16vCPU	120GB	100GB	620GB/월	36,300원/일 980,000/월
A6000.G4	4	192GB	32vCPU	240GB	100GB	620GB/월	72,600원/일 1,960,000/월

A6000.G1 기준 벤치마크 자료

매개변수	컨텍스트 길이	양자화	크기	DRAM 사용량	VRAM 사용량	출력 Token/s
Gemma3 12B	128K	Q4_K_M	8.1GB	10GB	10551MB	52.944
Gemma3 27B	128K	Q4_K_M	17GB	26GB	19753MB	29.152
DeepSeek-R1 7B	128K	Q4_K_M	4.7GB	6GB	5457MB	92.682
DeepSeek-R1 14B	128K	Q4_K_M	9GB	10GB	10741MB	53.8
DeepSeek-R1 32B	128K	Q4_K_M	19GB	20GB	21619MB	26.38
DeepSeek-R1 70B	128K	Q4_K_M	42GB	40GB	44029MB	13.636
Llama 4 - Scout 109B	10MB	Q4_K_M	67GB	55GB	45613MB	7.596
Llama 3.3 70B	128K	Q4_K_M	46GB	41GB	44021MB	14.06
Llama 3.2 11B	128K	Q4_K_M	7.8GB	9GB	11289MB	88.8
Llama 3.2 90B	128K	Q4_K_M	67GB	55GB	47645MB	5.272
Phi4 14B	16K	Q4_K_M	12GB	11GB	11013MB	54.602
HyperCLOVA X SEED 1.5B	128K	F16	4.9GB	4GB	4385MB	132.408
HyperCLOVA X SEED 3B	128K	Q4_K_M	4GB	3GB	3581MB	138.266

4000Ada

제원 : CUDA 6144, 20GB(GDDR6-ECC)

상품명	GPU	GPU memory	vCPU	Memory	Storage(OS)	Traffic	가격(부가세 별도)
4000Ada.G1	1	20GB	8vCPU	60GB	100GB	620GB/월	9,200원/일 248,500/월
4000Ada.G2	2	40GB	16vCPU	120GB	100GB	620GB/월	18,400원/일 495,000/월
4000Ada.G4	4	80GB	32vCPU	240GB	100GB	620GB/월	36,700원/일 990,000/월

4000Ada.G1 기준 벤치마크 자료

매개변수	컨텍스트 길이	양자화	크기	DRAM 사용량	VRAM 사용량	출력 Token/s
Gemma3 12B	128K	Q4_K_M	8.1GB	15.2GB	9852MB	33.684
Gemma3 27B	128K	Q4_K_M	17GB	27.4GB	16144MB	10.762
DeepSeek-R1 7B	128K	Q4_K_M	4.7GB	9.4GB	4916MB	57.72
DeepSeek-R1 14B	128K	Q4_K_M	9GB	16.5GB	9512MB	31.094
DeepSeek-R1 32B	128K	Q4_K_M	19GB	16.7GB	19116MB	8.488
DeepSeek-R1 70B	128K	Q4_K_M	42GB	39.5GB	18540MB	1.72
Llama 4 - Scout 109B	10MB	Q4_K_M	81GB	54.9GB	16450MB	5.49
Llama 3.3 70B	128K	Q4_K_M	46GB	39.8GB	18542MB	1.736
Llama 3.2 11B	128K	Q4_K_M	7.8GB	6.8GB	11114MB	55.61
Llama 3.2 90B	128K	Q4_K_M	67GB	54.6GB	18812MB	1.616
Phi4 14B	16K	Q4_K_M	12GB	7.6GB	9750MB	32.026
HyperCLOVA X SEED 1.5B	128K	F16	4.9GB	2.1GB	3858MB	80.738
HyperCLOVA X SEED 3B	128K	Q4_K_M	4GB	1.1GB	2838MB	100.594
Qwen3 30B	256K	Q4_K_M	18GB	15.8GB	18436MB	75.102
Qwen3 32B	40K	Q4_K_M	20GB	17.7GB	18796MB	7.17
Qwen3 235B	256K	Q4_K_M	142GB	x	x	x
GPT-OSS 20B	128K	MXFP4	13.2GB	15.8GB	13748MB	43.582
GPT-OSS 120B	128K	MXFP4	65GB	15.8GB	16598B	3.454

Tesla T4

제원 : CUDA 2,560, 16GB(GDDR6)

상품명	GPU	GPU memory	vCPU	Memory	Storage(OS)	Traffic	가격(부가세 별도)
T4.G1	1	16GB	6vCPU	30GB	100GB	620GB/월	6,260원/일 169,000원/월
T4.G2	2	32GB	12vCPU	60GB	100GB	620GB/월	12,520원/일 338,000원/월
T4.G4	4	64GB	24vCPU	120GB	100GB	620GB/월	25,040원/일 676,000원/월

T4.G1 기준 벤치마크 자료

매개변수	컨텍스트 길이	양자화	크기	DRAM 사용량	VRAM 사용량	출력 Token/s
Gemma3 12B	128K	Q4_K_M	8.1GB	8.5GB	10345MB	16.716
Gemma3 27B	128K	Q4_K_M	17GB	17.2GB	12669MB	6.026
DeepSeek-R1 7B	128K	Q4_K_M	4.7GB	5GB	5257MB	28.814
DeepSeek-R1 14B	128K	Q4_K_M	9GB	9GB	10703MB	12.982
DeepSeek-R1 32B	128K	Q4_K_M	19GB	19.4GB	13995MB	4.378
DeepSeek-R1 70B	128K	Q4_K_M	42GB	X	X	X
Llama 4 - Scout 109B	10MB	Q4_K_M	67GB	54.9GB	11403MB	4.268
Llama 3.3 70B	128K	Q4_K_M	46GB	49GB	13617MB	1.434
Llama 3.2 11B	128K	Q4_K_M	7.8GB	8.3GB	11103MB	30.898
Llama 3.2 90B	128K	Q4_K_M	67GB	56.4GB	13815MB	1.396
Phi4 14B	16K	Q4_K_M	12GB	9GB	10813MB	11.66
HyperCLOVA X SEED 1.5B	128K	F16	4.9GB	3.5GB	4213MB	58.324
HyperCLOVA X SEED 3B	128K	Q4_K_M	4GB	2.5GB	3431MB	56.738

PRO6000

제원 : 24,064, 96GB(GDDR7-ECC)

상품명	GPU	GPU memory	vCPU	Memory	Storage(OS)	Traffic	가격(부가세 별도)
PRO6000.G1	1	96GB	8vCPU	120GB	100GB	620GB/월	51,480원/일 1,390,000원/월
PRO6000.G2	2	192GB	16vCPU	240GB	100GB	620GB/월	102,960원/일 2,780,000원/월
PRO6000.G4	4	384GB	32vCPU	480GB	100GB	620GB/월	205,920원/일 5,560,000원/월

PRO6000.G1 기준 벤치마크 자료

매개변수	컨텍스트 길이	양자화	크기	DRAM 사용량	VRAM 사용량	출력 Token/s
Gemma3 12B	128K	Q4_K_M	8.1GB	9.2GB	10291MB	79.328
Gemma3 27B	128K	Q4_K_M	17GB	17.6GB	19223MB	49.176
DeepSeek-R1 7B	128K	Q4_K_M	4.7GB	5.1GB	5351MB	145.958
DeepSeek-R1 14B	128K	Q4_K_M	9GB	9.3GB	9949MB	96.326
DeepSeek-R1 32B	128K	Q4_K_M	19GB	18.5GB	20571MB	50.686
DeepSeek-R1 70B	128K	Q4_K_M	42GB	40GB	42513MB	25.802
Llama 4 - Scout 109B	10MB	Q4_K_M	81GB	64B	65627MB	64.614
Llama 3.3 70B	128K	Q4_K_M	46GB	47GB	42513MB	26.212
Llama 3.2 11B	128K	Q4_K_M	7.8GB	8.4GB	11605MB	134.944
Llama 3.2 90B	128K	Q4_K_M	67GB	52GB	57365MB	25.946
Phi4 14B	16K	Q4_K_M	12GB	9.2GB	10165MB	124.876
HyperCLOVA X SEED 1.5B	128K	F16	4.9GB	4GB	4207MB	230.462
HyperCLOVA X SEED 3B	128K	Q4_K_M	4GB	2.8GB	3277MB	211.628
Qwen3 30B	256K	Q4_K_M	18GB	17.6GB	18881MB	153.862
Qwen3 32B	40K	Q4_K_M	20GB	19GB	21109MB	50.454
Qwen3 235B (G2)	256K	Q4_K_M	142GB	134GB	70393MB/68189MB	54.344
GPT-OSS 20B	128K	MXFP4	13.2GB	15GB	14115MB	133.604
GPT-OSS 120B	128K	MXFP4	65GB	63GB	63473MB	100.72

상품 가격은 변동될 수 있으며 2025년 8월 기준 작성되었습니다.
정확한 내용은 홈페이지 소개 페이지를 참고하시기 바랍니다.

정보

• 벤치마크 테스트는 NGC 공식 컨테이너 nvcr.io/nvidia/pytorch:25.06-py3 환경에서 수행되었으며 본 결과 공개는 NVIDIA의 “Deep Learning Containers – Benchmarking” 문서에 따른 예외 조항에 근거합니다.
• 테스트 결과는 자사가 직접 실험한 수치로, NVIDIA의 공식 성능과 무관하며, 미세한 환경 차이에 따라 결과는 다를 수 있으니 참고용 데이터로 활용하시기 바랍니다.