"가상서버" 태그로 연결된 3개 게시물개의 게시물이 있습니다.

NVIDIA 최신 아키텍처 기반의 PRO5000 GPU서버를 출시했습니다.
단일 GPU당 14,080개의 CUDA 코어와 48GB의 차세대 GDDR7-ECC 메모리를 탑재했습니다.
이를 통해 Gemma, GPT-OSS 등 최신 오픈소스 추론 모델은 물론, 대규모 파라미터의 모델까지 안정적이고 빠른 속도로 서빙할 수 있습니다.

---

PRO5000 서버 라인업​

PRO5000 시리즈는 고성능 Blackwell 아키텍처 GPU를 기반으로 사용자의 워크로드 규모에 맞춰 세 가지 플랜을 제공합니다.

상품명	GPU	RAM(DRAM + VRAM)	vCPU	Memory	Storage(OS)	Traffic	가격(부가세 별도)
PRO50.0.G1	1	108GB (DRAM 60GB + VRAM 48GB)	8 vCPU	60GB	100GB	620GB/월	25,750원/일 (695,000원/월)
PRO50.0.G2	2	216GB (DRAM 120GB + VRAM 96GB)	16 vCPU	120GB	100GB	620GB/월	51,500원/일 (1,390,000원/월)
PRO50.0.G4	4	432GB (DRAM 240GB + VRAM 192GB)	32 vCPU	240GB	100GB	620GB/월	103,000원/일 (2,780,000원/월)

iwinv가 고속 LLM 프레임워크 vLLM 운용에 최적화된 GPU 가상 서버를 출시했습니다.
NVIDIA Blackwell 기반 PRO6000 GPU 서버는 최대 864GB 메모리(GDDR7-ECC & DDR5)로
Gemma 3, Phi-4, DeepSeek-R1은 물론 GPT-OSS 120B 규모의 대형 모델까지 안정적으로 운용할 수 있습니다.

vLLM이란?​

vLLM은 *Paged Attention 기술을 활용하여 GPU 메모리 내 KV 캐시(Key-Value cache)를 효율적으로 관리하는 오픈소스 프레임워크(LLM 추론 엔진)입니다. 한정된 GPU 자원으로도 응답 속도를 극대화하여 원활한 AI 구동을 지원합니다.

*Paged Attention: LLM 추론 시 KV 캐시를 고정 크기 블록으로 나누어 관리하는 메모리 최적화 기법. 메모리 단편화를 줄이고 GPU 메모리 효율을 크게 개선함.

PRO6000 GPU 서버 강점​

GPU 성능 차세대 NVIDIA Blackwell 기반의 PRO6000은 기존 6000Ada 대비 VRAM 용량이 약 2배 증가했습니다.

대용량 메모리 최대 864GB 메모리(GDDR7-ECC & DDR5 기반)를 지원하여 대규모 LLM 운영 환경에서 더욱 안정적입니다.

vLLM 최적화 가상 환경에서도 vLLM 기반의 빠른 토큰 응답을 보장하여 실시간 AI 서비스에 최적화되어 있습니다.

검증된 성능 자체 테스트 결과 GPT-OSS 120B 모델 기준 초당 181.42 Token의 높은 처리 성능을 확인하였습니다
(PRO6000 GPU 1개 기준).

2025년 06월 11일, 오픈소스 서버 운영체제의 강자, Rocky Linux가 10.0을 새롭게 공개하였습니다.

이번 릴리즈는 코드네임 Red Quartz로 RHEL 10 기반의 최신 기술과 함께 보안, 성능, 아키텍처 지원등에서 큰 변화를 담고 있습니다.

이제 막 공개된 Rocky Linux 10.0의 핵심 변화와 개발자·운영자 입장에서 반드시 알아야 할 포인트들을 정리해 드립니다.