Ollama (가상서버)

GPU Server (가상서버)에서 사용할 수 있는 Ollama는 CPU 및 GPU을 혼합해서 사용 할 수 있는 경량 플랫폼으로 전용 리포지토리를 통해 양자화 모델을 작동 할 수 있습니다.

팁

• 상품이 활성화가 되어있지 않은 경우는 온라인 기술지원에 해당 내용을 남겨주시면 담당자 확인후 서비스 신청 가능여부를 재확인해 드리겠습니다.
• 상품 신청 및 사용 가이드는 가상서버 가이드를 참고 해주시기 바랍니다.
• 리얼 서버(베어메탈, 맞춤형 서버) 기반의 GPU 상품은 cloudv에서 주문하실 수 있습니다.

정보

• 지능형 챗봇 플랫폼 및 생성형 API 시스템
• RAG 및 검색 기반 AI 서비스
• 블록체인 및 AI 연계한 DApp 수행
• 사용자 경험(UX) 및 비주얼 데이터 최적화 서비스
• reference 매뉴얼을 통한 손쉬운 설치 및 사용 방법 제안

상품 사양 정보 및 LLM 모델 벤치마크

Tesla T4 (KR1-Z07)

제원 : CUDA 2,560, 16GB(GDDR6)

상품명	GPU	GPU memory	vCPU	Memory	Storage(OS)	Traffic	가격(부가세 별도)
T4.G1	1	16GB	6vCPU	30GB	100GB	620GB/월	6,260원/일 169,000원/월
T4.G2	2	32GB	12vCPU	60GB	100GB	620GB/월	12,520원/일 338,000원/월
T4.G4	4	64GB	24vCPU	120GB	100GB	620GB/월	25,040원/일 676,000원/월

T4.G1 기준 벤치마크 자료

매개변수	컨텍스트 길이	양자화	크기	DRAM 사용량	VRAM 사용량	출력 Token/s
Gemma3 12B	128K	Q4_K_M	8.1GB	8.5GB	10345MB	16.716
Gemma3 27B	128K	Q4_K_M	17GB	17.2GB	12669MB	6.026
DeepSeek-R1 7B	128K	Q4_K_M	4.7GB	5GB	5257MB	28.814
DeepSeek-R1 14B	128K	Q4_K_M	9GB	9GB	10703MB	12.982
DeepSeek-R1 32B	128K	Q4_K_M	19GB	19.4GB	13995MB	4.378
Llama 4 - Scout 109B	10MB	Q4_K_M	67GB	54.9GB	11403MB	4.268
Llama 3.3 70B	128K	Q4_K_M	46GB	49GB	13617MB	1.434
Llama 3.2 11B	128K	Q4_K_M	7.8GB	8.3GB	11103MB	30.898
Llama 3.2 90B	128K	Q4_K_M	67GB	56.4GB	13815MB	1.396
Phi4 14B	16K	Q4_K_M	12GB	9GB	10813MB	11.66
HyperCLOVA X SEED 1.5B	128K	F16	4.9GB	3.5GB	4213MB	58.324
HyperCLOVA X SEED 3B	128K	Q4_K_M	4GB	2.5GB	3431MB	56.738

4000Ada (KR1-Z07)

제원 : CUDA 6144, 20GB(GDDR6-ECC)

상품명	GPU	GPU memory	vCPU	Memory	Storage(OS)	Traffic	가격(부가세 별도)
4000Ada.G1	1	20GB	8vCPU	60GB	100GB	620GB/월	9,200원/일 248,500/월
4000Ada.G2	2	40GB	16vCPU	120GB	100GB	620GB/월	18,400원/일 495,000/월
4000Ada.G4	4	80GB	32vCPU	240GB	100GB	620GB/월	36,700원/일 990,000/월

4000Ada.G1 기준 벤치마크 자료

매개변수	컨텍스트 길이	양자화	크기	DRAM 사용량	VRAM 사용량	출력 Token/s
Gemma3 12B	128K	Q4_K_M	8.1GB	15.2GB	9852MB	33.684
Gemma3 27B	128K	Q4_K_M	17GB	27.4GB	16144MB	10.762
DeepSeek-R1 7B	128K	Q4_K_M	4.7GB	9.4GB	4916MB	57.72
DeepSeek-R1 14B	128K	Q4_K_M	9GB	16.5GB	9512MB	31.094
DeepSeek-R1 32B	128K	Q4_K_M	19GB	16.7GB	19116MB	8.488
DeepSeek-R1 70B	128K	Q4_K_M	42GB	39.5GB	18540MB	1.72
Llama 4 - Scout 109B	10MB	Q4_K_M	81GB	54.9GB	16450MB	5.49
Llama 3.3 70B	128K	Q4_K_M	46GB	39.8GB	18542MB	1.736
Llama 3.2 11B	128K	Q4_K_M	7.8GB	6.8GB	11114MB	55.61
Llama 3.2 90B	128K	Q4_K_M	67GB	54.6GB	18812MB	1.616
Phi4 14B	16K	Q4_K_M	12GB	7.6GB	9750MB	32.026
HyperCLOVA X SEED 1.5B	128K	F16	4.9GB	2.1GB	3858MB	80.738
HyperCLOVA X SEED 3B	128K	Q4_K_M	4GB	1.1GB	2838MB	100.594
Qwen3 30B	256K	Q4_K_M	18GB	15.8GB	18436MB	75.102
Qwen3 32B	40K	Q4_K_M	20GB	17.7GB	18796MB	7.17
Qwen3 235B	256K	Q4_K_M	142GB	x	x	x
GPT-OSS 20B	128K	MXFP4	13.2GB	15.8GB	13748MB	43.582
GPT-OSS 120B	128K	MXFP4	65GB	15.8GB	16598B	3.454

V100 (KR1-Z08)

제원 : CUDA 5,120, 32GB(HBM2)

상품명	GPU	GPU memory	vCPU	Memory	Storage(OS)	Traffic	가격(부가세 별도)
V100.G1	1	32GB	8vCPU	60GB	100GB	620GB/월	13,700원/일 369,000/월
V100.G2	2	64GB	16vCPU	120GB	100GB	620GB/월	27,400원/일 738,000/월
V100.G4	4	128GB	32vCPU	240GB	100GB	620GB/월	54,800원/일 1,476,000/월

V100.G1 기준 벤치마크 자료

매개변수	컨텍스트 길이	양자화	크기	DRAM 사용량	VRAM 사용량	출력 Token/s
Gemma3 27B	128K	Q4_K_M	17GB	17.3GB	20607MB	33.992
DeepSeek-R1 32B	128K	Q4_K_M	19GB	19.1GB	29093MB	28.448
DeepSeek-R1 70B	128K	Q4_K_M	42GB	44.7GB	30125MB	1.844
Llama 4 - Scout 109B	10MB	Q4_K_M	81GB	56.9GB	31515MB	5.712
Llama 3.3 70B	128K	Q4_K_M	46GB	44.9GB	30125MB	1.906
Phi4 14B	16K	Q4_K_M	12GB	8.6GB	13215MB	68.986
Qwen3 30B	256K	Q4_K_M	18GB	17.4GB	21181MB	104.944
Qwen3 32B	40K	Q4_K_M	20GB	19.6GB	27927MB	28.4
Qwen3 235B (G4)	256K	Q4_K_M	142GB	195.5GB	31475MB * 4	7.318
GPT-OSS 20B	128K	MXFP4	13.2GB	14.4GB	13539MB	122.892
GPT-OSS 120B	128K	MXFP4	65GB	56.9GB	31835MB	11.252

A6000 (KR1-Z07)

제원 : CUDA 10,752, 48GB(GDDR6-ECC)

상품명	GPU	GPU memory	vCPU	Memory	Storage(OS)	Traffic	가격(부가세 별도)
A6000.G1	1	48GB	8vCPU	60GB	100GB	620GB/월	18,200원/일 490,000/월
A6000.G2	2	96GB	16vCPU	120GB	100GB	620GB/월	36,300원/일 980,000/월
A6000.G4	4	192GB	32vCPU	240GB	100GB	620GB/월	72,600원/일 1,960,000/월

A6000.G1 기준 벤치마크 자료

매개변수	컨텍스트 길이	양자화	크기	DRAM 사용량	VRAM 사용량	출력 Token/s
Gemma3 12B	128K	Q4_K_M	8.1GB	10GB	10551MB	52.944
Gemma3 27B	128K	Q4_K_M	17GB	26GB	19753MB	29.152
DeepSeek-R1 7B	128K	Q4_K_M	4.7GB	6GB	5457MB	92.682
DeepSeek-R1 14B	128K	Q4_K_M	9GB	10GB	10741MB	53.8
DeepSeek-R1 32B	128K	Q4_K_M	19GB	20GB	21619MB	26.38
DeepSeek-R1 70B	128K	Q4_K_M	42GB	40GB	44029MB	13.636
Llama 4 - Scout 109B	10MB	Q4_K_M	67GB	55GB	45613MB	7.596
Llama 3.3 70B	128K	Q4_K_M	46GB	41GB	44021MB	14.06
Llama 3.2 11B	128K	Q4_K_M	7.8GB	9GB	11289MB	88.8
Llama 3.2 90B	128K	Q4_K_M	67GB	55GB	47645MB	5.272
Phi4 14B	16K	Q4_K_M	12GB	11GB	11013MB	54.602
HyperCLOVA X SEED 1.5B	128K	F16	4.9GB	4GB	4385MB	132.408
HyperCLOVA X SEED 3B	128K	Q4_K_M	4GB	3GB	3581MB	138.266

PRO5000 (KR1-Z03)

제원 : CUDA 14,080, 96GB(GDDR7-ECC)

상품명	GPU	GPU memory	vCPU	Memory	Storage(OS)	Traffic	가격(부가세 별도)
PRO5000.G1	1	48GB	8vCPU	60GB	100GB	620GB/월	25,750원/일 695,000원/월
PRO5000.G2	2	96GB	16vCPU	120GB	100GB	620GB/월	51,500원/일 1,390,000원/월
PRO5000.G4	4	192GB	32vCPU	240GB	100GB	620GB/월	103,000원/일 2,780,000원/월

PRO5000.G1 기준 벤치마크 자료

매개변수	컨텍스트 길이	양자화	크기	DRAM 사용량	VRAM 사용량	출력 Token/s
Gemma3 12B	128K	Q4_K_M	8.1GB	51.6GB	9153MB	109.606
Gemma3 27B	128K	Q4_K_M	17GB	46GB	18169MB	56.814
DeepSeek-R1 7B	128K	Q4_K_M	4.7GB	6.9GB	5155MB	211.232
DeepSeek-R1 14B	128K	Q4_K_M	9GB	8.4GB	9727MB	109.162
DeepSeek-R1 32B	128K	Q4_K_M	19GB	18.1GB	20301MB	53.206
DeepSeek-R1 70B	128K	Q4_K_M	42GB	39.4GB	41991MB	25.83
Llama 4 - Scout 109B (G2)	10MB	Q4_K_M	81GB	51.4GB	36003MB * 2	81.91
Llama 3.3 70B	128K	Q4_K_M	46GB	39.3GB	41989MB	26.074
Llama 3.2 11B	128K	Q4_K_M	7.8GB	7.9GB	11493MB	174.2
Llama 3.2 90B (G2)	128K	Q4_K_M	67GB	52GB	29375MB * 2	25.268
Phi4 14B	16K	Q4_K_M	12GB	8.6GB	9849MB	113.756
HyperCLOVA X SEED 1.5B	128K	F16	4.9GB	3GB	4135MB	305.536
HyperCLOVA X SEED 3B	128K	Q4_K_M	4GB	2GB	3083MB	369.246
Qwen3 30B	256K	Q4_K_M	18GB	17.8GB	18461MB	167.676
Qwen3 32B	40K	Q4_K_M	20GB	18.9GB	20535MB	50.078
Qwen3 235B (G4)	256K	Q4_K_M	142GB	134.3GB	45881MB * 3	48.118
GPT-OSS 20B	128K	MXFP4	13.2GB	14.3GB	12917MB	201.042
GPT-OSS 120B (G2)	128K	MXFP4	65GB	64.1GB	30857MB * 2	146.866

PRO6000 (KR1-Z03)

제원 : CUDA 24,064, 96GB(GDDR7-ECC)

상품명	GPU	GPU memory	vCPU	Memory	Storage(OS)	Traffic	가격(부가세 별도)
PRO6000.G1	1	96GB	8vCPU	120GB	100GB	620GB/월	55,200원/일 1,490,000원/월
PRO6000.G2	2	192GB	16vCPU	240GB	100GB	620GB/월	110,400원/일 2,980,000원/월
PRO6000.G4	4	384GB	32vCPU	480GB	100GB	620GB/월	220,800원/일 5,960,000원/월

PRO6000.G1 기준 벤치마크 자료

매개변수	컨텍스트 길이	양자화	크기	DRAM 사용량	VRAM 사용량	출력 Token/s
Gemma3 12B	128K	Q4_K_M	8.1GB	9.2GB	10291MB	79.328
Gemma3 27B	128K	Q4_K_M	17GB	17.6GB	19223MB	49.176
DeepSeek-R1 7B	128K	Q4_K_M	4.7GB	5.1GB	5351MB	145.958
DeepSeek-R1 14B	128K	Q4_K_M	9GB	9.3GB	9949MB	96.326
DeepSeek-R1 32B	128K	Q4_K_M	19GB	18.5GB	20571MB	50.686
DeepSeek-R1 70B	128K	Q4_K_M	42GB	40GB	42513MB	25.802
Llama 4 - Scout 109B	10MB	Q4_K_M	81GB	64GB	65627MB	64.614
Llama 3.3 70B	128K	Q4_K_M	46GB	47GB	42513MB	26.212
Llama 3.2 11B	128K	Q4_K_M	7.8GB	8.4GB	11605MB	134.944
Llama 3.2 90B	128K	Q4_K_M	67GB	52GB	57365MB	25.946
Phi4 14B	16K	Q4_K_M	12GB	9.2GB	10165MB	124.876
HyperCLOVA X SEED 1.5B	128K	F16	4.9GB	4GB	4207MB	230.462
HyperCLOVA X SEED 3B	128K	Q4_K_M	4GB	2.8GB	3277MB	211.628
Qwen3 30B	256K	Q4_K_M	18GB	17.6GB	18881MB	153.862
Qwen3 32B	40K	Q4_K_M	20GB	19GB	21109MB	50.454
Qwen3 235B (G2)	256K	Q4_K_M	142GB	134GB	70393MB/68189MB	54.344
GPT-OSS 20B	128K	MXFP4	13.2GB	15GB	14115MB	133.604
GPT-OSS 120B	128K	MXFP4	65GB	63GB	63473MB	100.72

경고

• PRO5000, PRO6000 상품에 드라이버 설치 시 NVIDIA 사이트에서 580.82.09 버전 이상의 run 드라이버가 필요하며 설치 방법은 해당 드라이버의 추가 정보를 참고 해주시기 바랍니다.
• • apt, snap, dnf, yum 등으로 nvidia-driver, cuda를 설치 할 경우 GPU가 인식 되지 않을 가능성이 있습니다.
• V100 상품은 580 미만의 드라이버를 지원하며 최신 드라이버 설치 시 작동하지 않는 점 참고 해주시기 바랍니다.
• NVIDIA 그래픽카드가 장착된 GPU Server를 사용 전 반드시 NVIDIA 소프트웨어 고객 사용 라이선스를 확인하시기 바라며 라이선스에 대한 조치 위반 및 NVIDIA 소프트웨어 무단 사용으로 인한 법적 책임은 스마일서브에 물을 수 없습니다.

상품 가격은 변동될 수 있으며 2026년 02월 기준 작성되었습니다.
정확한 내용은 홈페이지 소개 페이지를 참고하시기 바랍니다.

정보

• 벤치마크 테스트는 NGC 공식 컨테이너 nvcr.io/nvidia/pytorch:25.06-py3 환경에서 수행되었으며 본 결과 공개는 NVIDIA의 “Deep Learning Containers – Benchmarking” 문서에 따른 예외 조항에 근거합니다.
• 테스트 결과는 자사가 직접 실험한 수치로, NVIDIA의 공식 성능과 무관하며, 미세한 환경 차이에 따라 결과는 다를 수 있으니 참고용 데이터로 활용하시기 바랍니다.