Ollama (가상서버)

KR1-Z07에서 제공되는 가상서버에서 사용할 수 있는 Ollama는 CPU 및 GPU을 혼합해서 사용 할 수 있는 경량 플랫폼으로 전용 리포지토리를 통해 양자화 모델을 작동 할 수 있습니다.

정보

• 지능형 챗봇 플랫폼 및 생성형 API 시스템
• RAG 및 검색 기반 AI 서비스
• 블록체인 및 AI 연계한 DApp 수행
• 사용자 경험(UX) 및 비주얼 데이터 최적화 서비스
• reference 매뉴얼을 통한 손쉬운 설치 및 사용 방법 제안

상품 사양 정보 및 LLM 모델 벤치마크

A6000

제원 : CUDA 10,752, 48GB(GDDR6-ECC)

상품명	GPU	GPU memory	vCPU	Memory	Storage(OS)	Traffic	가격(부가세 별도)
A6000.G1	1	48GB	8vCPU	60	100GB	620GB/월	18,200원/일 490,000/월
A6000.G2	2	96GB	16vCPU	120	100GB	620GB/월	36,300원/일 980,000/월
A6000.G4	4	192GB	32vCPU	140	100GB	620GB/월	72,600원/일 1,960,000/월

A6000.G1 기준 벤치마크 자료

매개변수	양자화	크기	DRAM 사용량	VRAM 사용량	출력 Token/s	컨텍스트 길이
Gemma3 12B	Q4_K_M	8.1GB	10GB	10551MB	52.944	128K
Gemma3 27B	Q4_K_M	17GB	26GB	19753MB	29.152	128K
DeepSeek-R1 7B	Q4_K_M	4.7GB	6GB	5457MB	92.682	128K
DeepSeek-R1 14B	Q4_K_M	9GB	10GB	10741MB	53.8	128K
DeepSeek-R1 32B	Q4_K_M	19GB	20GB	21619MB	26.38	128K
DeepSeek-R1 70B	Q4_K_M	42GB	40GB	44029MB	13.636	128K
Llama 4 - Scout 109B	Q4_K_M	67GB	55GB	45613MB	7.596	10MB
Llama 3.3 70B	Q4_K_M	46GB	41GB	44021MB	14.06	128K
Llama 3.2 11B	Q4_K_M	7.8GB	9GB	11289MB	88.8	128K
Llama 3.2 90B	Q4_K_M	67GB	55GB	47645MB	5.272	128K
Phi4 14B	Q4_K_M	12GB	11GB	11013MB	54.602	16K
HyperCLOVA X SEED 1.5B	F16	4.9GB	4GB	4385MB	132.408	128K
HyperCLOVA X SEED 3B	Q4_K_M	4GB	3GB	3581MB	138.266	128K

4000Ada

제원 : CUDA 6144, 20GB(GDDR6-ECC)

상품명	GPU	GPU memory	vCPU	Memory	Storage(OS)	Traffic	가격(부가세 별도)
4000Ada.G1	1	20GB	8vCPU	60	100GB	620GB/월	9,200원/일 248,500/월
4000Ada.G2	2	40GB	16vCPU	120	100GB	620GB/월	18,400원/일 495,000/월
4000Ada.G4	4	80GB	32vCPU	140	100GB	620GB/월	36,700원/일 990,000/월

4000Ada.G1 기준 벤치마크 자료

매개변수	양자화	크기	DRAM 사용량	VRAM 사용량	출력 Token/s	컨텍스트 길이
Gemma3 12B	Q4_K_M	8.1GB	21GB	10435MB	30.256	128K
Gemma3 27B	Q4_K_M	17GB	28GB	16081MB	9.926	128K
DeepSeek-R1 7B	Q4_K_M	4.7GB	5GB	5355MB	50.878	128K
DeepSeek-R1 14B	Q4_K_M	9GB	9GB	10725MB	26.344	128K
DeepSeek-R1 32B	Q4_K_M	19GB	19GB	17883MB	6.858	128K
DeepSeek-R1 70B	Q4_K_M	42GB	42GB	17267MB	1.708	128K
Llama 4 - Scout 109B	Q4_K_M	67GB	56GB	15269MB	4.992	10MB
Llama 3.3 70B	Q4_K_M	46GB	42GB	17589MB	1.706	128K
Llama 3.2 11B	Q4_K_M	7.8GB	9GB	11175MB	50.79	128K
Llama 3.2 90B	Q4_K_M	67GB	56GB	17905MB	1.596	128K
Phi4 14B	Q4_K_M	12GB	10GB	10897MB	28.258	16K
HyperCLOVA X SEED 1.5B	F16	4.9GB	5GB	4279MB	74.976	128K
HyperCLOVA X SEED 3B	Q4_K_M	4GB	3GB	3456MB	91.67	128K

Tesla T4

제원 : CUDA 2,560, 16GB(GDDR6)

상품명	GPU	GPU memory	vCPU	Memory	Storage(OS)	Traffic	가격(부가세 별도)
T4.G1	1	16GB	16vCPU	60	100GB	620GB/월	6,260원/일 169,000원/월
T4.G2	2	32GB	32vCPU	120	100GB	620GB/월	12,520원/일 338,000원/월
T4.G4	4	64GB	64vCPU	240	100GB	620GB/월	25,040원/일 676,000원/월

T4.G1 기준 벤치마크 자료

매개변수	양자화	크기	DRAM 사용량	VRAM 사용량	출력 Token/s	컨텍스트 길이
Gemma3 12B	Q4_K_M	8.1GB	8.5GB	10345MB	16.716	128K
Gemma3 27B	Q4_K_M	17GB	17.2GB	12669MB	6.026	128K
DeepSeek-R1 7B	Q4_K_M	4.7GB	5GB	5257MB	28.814	128K
DeepSeek-R1 14B	Q4_K_M	9GB	9GB	10703MB	12.982	128K
DeepSeek-R1 32B	Q4_K_M	19GB	19.4GB	13995MB	4.378	128K
DeepSeek-R1 70B	Q4_K_M	42GB	X	X	X	128K
Llama 4 - Scout 109B	Q4_K_M	67GB	54.9GB	11403MB	4.268	10MB
Llama 3.3 70B	Q4_K_M	46GB	49GB	13617MB	1.434	128K
Llama 3.2 11B	Q4_K_M	7.8GB	8.3GB	11103MB	30.898	128K
Llama 3.2 90B	Q4_K_M	67GB	56.4GB	13815MB	1.396	128K
Phi4 14B	Q4_K_M	12GB	9GB	10813MB	11.66	16K
HyperCLOVA X SEED 1.5B	F16	4.9GB	3.5GB	4213MB	58.324	128K
HyperCLOVA X SEED 3B	Q4_K_M	4GB	2.5GB	3431MB	56.738	128K

상품 가격은 변동될 수 있으며 2025년 5월 기준 작성되었습니다.
정확한 내용은 홈페이지 소개 페이지를 참고하시기 바랍니다.

정보

• 상품이 활성화가 되어있지 않은 경우는 온라인 기술지원에 해당 내용을 남겨주시면 담당자 확인후 서비스 신청 가능여부를 재확인해 드리겠습니다.
• 상품 신청 및 사용 가이드는 가상서버 가이드를 참고 해주시기 바랍니다.
• 리얼 서버(베어메탈, 맞춤형 서버) 기반의 GPU 상품은 cloudv에서 주문하실 수 있습니다.