vllm (가상서버)

KR1-Z07에서 제공되는 가상서버에서 사용할 수 있는 vllm은 GPU의 VRAM을 사용하여 LLM 추론 모델을 효율적으로 작동 시킬 수 있습니다.

정보

• 고성능 챗봇, 문서 요약, RAG 기반 질의응답 시스템
• 엔터프라이즈 AI 백엔드 서버
• LLM 기반 SaaS 기능(API 제공형 서비스)
• 멀티 유저 환경의 실시간 응답 시스템
• reference 매뉴얼을 통한 손쉬운 설치 및 사용 방법 제안

상품 사양 정보 및 LLM 모델 벤치마크

A6000

제원 : CUDA 10,752, 48GB(GDDR6-ECC)

상품명	GPU	GPU memory	vCPU	Memory	Storage(OS)	Traffic	가격(부가세 별도)
A6000.G1	1	48GB	8vCPU	60	100GB	620GB/월	18,200원/일 490,000/월
A6000.G2	2	96GB	16vCPU	120	100GB	620GB/월	36,300원/일 980,000/월
A6000.G4	4	192GB	32vCPU	140	100GB	620GB/월	72,600원/일 1,960,000/월

A6000.G1 기준 벤치마크 자료

매개변수	크기	DRAM 사용량	VRAM 사용량	출력 Token/s
Gemma3 12B	23GB	27GB	44983MB	168.38
Gemma3 27B(2CPU)	52GB	61GB	45875MB x 2	130.26
DeepSeek-R1 7B	15GB	17GB	44667MB	197.52
DeepSeek-R1 14B	28GB	31GB	44861MB	213.34
DeepSeek-R1 32B(2GPU)	62GB	70GB	45617MB x 2	226.8
DeepSeek-R1 32B(4GPU)	62GB	75GB	45715MB x 4	229.26
DeepSeek-R1 70B(4GPU)	132GB	145GB	45937MB x 4	152.18
Phi4 14B	28GB	31GB	44797MB	160.92

4000Ada

제원 : CUDA 6144, 20GB(GDDR6-ECC)

상품명	GPU	GPU memory	vCPU	Memory	Storage(OS)	Traffic	가격(부가세 별도)
4000Ada.G1	1	20GB	8vCPU	60	100GB	620GB/월	9,200원/일 248,500/월
4000Ada.G2	2	40GB	16vCPU	120	100GB	620GB/월	18,400원/일 495,000/월
4000Ada.G4	4	80GB	32vCPU	140	100GB	620GB/월	36,700원/일 990,000/월

4000Ada.G1 기준 동작 권장 사양

정보

4000Ada에서 작동을 권장하는 LLM 모델 사양

• 7B 미만 : 4000Ada.G1
• 14B 미만 : 4000Ada.G2

Tesla T4

제원 : CUDA 2,560, 16GB(GDDR6)

상품명	GPU	GPU memory	vCPU	Memory	Storage(OS)	Traffic	가격(부가세 별도)
T4.G1	1	16GB	16vCPU	60	100GB	620GB/월	6,260원/일 169,000원/월
T4.G2	2	32GB	32vCPU	120	100GB	620GB/월	12,520원/일 338,000원/월
T4.G4	4	64GB	64vCPU	240	100GB	620GB/월	25,040원/일 676,000원/월

T4.G1 기준 동작 권장 사양

정보

T4에서 작동을 권장하는 LLM 모델 사양

• 7B 미만 : T4.G1
• 14B 미만 : T4.G4

상품 가격은 변동될 수 있으며 2025년 5월 기준 작성되었습니다.
정확한 내용은 홈페이지 소개 페이지를 참고하시기 바랍니다.

정보

• 상품이 활성화가 되어있지 않은 경우는 온라인 기술지원에 해당 내용을 남겨주시면 담당자 확인후 서비스 신청 가능여부를 재확인해 드리겠습니다.
• 상품 신청 및 사용 가이드는 가상서버 가이드를 참고 해주시기 바랍니다.
• 리얼 서버(베어메탈, 맞춤형 서버) 기반의 GPU 상품은 cloudv에서 주문하실 수 있습니다.