"LLM" 태그로 연결된 5개 게시물개의 게시물이 있습니다.

iwinv가 GPT, Gemini, Claude 등을 API Key 하나로 사용할 수 있는 통합 AI API 서비스, AI API를 출시했습니다.

AI API란?​

AI API는 OpenAI, Claude, Gemini 등 글로벌 AI 모델부터 iwinv 자체 GPU 인프라 기반 오픈소스 모델까지 하나의 API로 통합 제공하는 멀티 LLM 플랫폼입니다.
각 AI 서비스에 개별 가입하고 API Key를 따로 관리할 필요 없이, 하나의 iwinv API Key로 여러 모델을 사용할 수 있습니다.
외부 상용 AI뿐 아니라 iwinv 자체 GPU 인프라에서 운영하는 고성능 오픈소스 모델도 함께 제공합니다. 비용 부담은 줄이면서, 편리한 AI 운영 환경을 경험할 수 있습니다.

핵심 장점​

1. 우수한 모델 라인업​

Thinking, Tools, Vision 기능을 포함한 모든 AI를 단 하나의 API로 이용 가능. 용도에 따라 최적의 모델을 선택하세요.

• 고성능 추론: Claude Opus 4.7, GPT-5.5 Pro, Gemini 3.1 Pro
• 빠른 응답: Gemini 2.5 Flash Lite, GPT-5-nano, Haiku 4.5
• 비용 최소화: iwinv 자체 모델 Gemma4-26b (입력 ₩102/1M)

지원 제공사: iwinv 자체 모델 · Google Gemini · OpenAI GPT · Anthropic Claude

iwinv GPU 서버 라인업에 A100, V100이 새롭게 추가되었습니다.
GPU 자원을 서버에 직접 할당하는 Pass-through 방식을 채택하여, 성능 저하 없이 GPU 자원을 100% 활용할 수 있습니다.
고성능 AI 모델 학습부터 실시간 추론까지 최상의 환경을 iwinv에서 경험해 보세요.

---

iwinv GPU 서버 라인업​

사용자의 워크로드 규모와 목적에 맞춰 엔트리급부터 엔터프라이즈급까지 폭넓은 선택지를 제공합니다.

Tip: 모든 서버는 GPU 개수(1/2/4개)에 따라 CPU와 RAM 사양 확장이 가능합니다.

---

적합한 워크로드 및 추천 모델​

• 대형 AI 모델 및 가상화 기반 고성능 연산 : Tesla A100
  MIG(Multi-Instance GPU)를 통한 자원 효율화와 TF32 가속 성능이 요구되는 대형 딥러닝, 금융 계산 등의 HPC 환경.
• 딥러닝 및 정밀 과학 연산 : Tesla V100
  FP64(배정도) 연산 성능이 중요시되는 금융 시뮬레이션, 과학 연산(HPC), 복잡한 물리 엔진 연산.
• 초대형 AI 모델 학습 및 서빙 : PRO 5000 / 6000
  iwinv의 하이엔드 라인업. 고용량 VRAM과 대역폭 기반으로 Gemma, GPT-OSS 등 수백억 개 이상의 파라미터를 가진 대형 모델 구동 및 고정밀 학습 등에 적합.
• 전문 그래픽 및 3D 렌더링 : RTX 4000 Ada / A6000
  넉넉한 비디오 메모리(VRAM) 용량으로 CAD, 영상 편집, 실시간 레이 트레이싱 등의 작업에 적합.
• 가성비 중심 AI 추론 서비스 : Tesla T4
  스타트업의 AI 상용화 단계나 동영상 트랜스코딩 등 대량의 요청을 경제적으로 처리해야 하는 경우.

---

NVIDIA 최신 아키텍처 기반의 PRO5000 GPU서버를 출시했습니다.
단일 GPU당 14,080개의 CUDA 코어와 48GB의 차세대 GDDR7-ECC 메모리를 탑재했습니다.
이를 통해 Gemma, GPT-OSS 등 최신 오픈소스 추론 모델은 물론, 대규모 파라미터의 모델까지 안정적이고 빠른 속도로 서빙할 수 있습니다.

---

PRO5000 서버 라인업​

PRO5000 시리즈는 고성능 Blackwell 아키텍처 GPU를 기반으로 사용자의 워크로드 규모에 맞춰 세 가지 플랜을 제공합니다.

상품명	GPU	RAM(DRAM + VRAM)	vCPU	Memory	Storage(OS)	Traffic	가격(부가세 별도)
PRO50.0.G1	1	108GB (DRAM 60GB + VRAM 48GB)	8 vCPU	60GB	100GB	620GB/월	25,750원/일 (695,000원/월)
PRO50.0.G2	2	216GB (DRAM 120GB + VRAM 96GB)	16 vCPU	120GB	100GB	620GB/월	51,500원/일 (1,390,000원/월)
PRO50.0.G4	4	432GB (DRAM 240GB + VRAM 192GB)	32 vCPU	240GB	100GB	620GB/월	103,000원/일 (2,780,000원/월)

iwinv가 고속 LLM 프레임워크 vLLM 운용에 최적화된 GPU 가상 서버를 출시했습니다.
NVIDIA Blackwell 기반 PRO6000 GPU 서버는 최대 864GB 메모리(GDDR7-ECC & DDR5)로
Gemma 3, Phi-4, DeepSeek-R1은 물론 GPT-OSS 120B 규모의 대형 모델까지 안정적으로 운용할 수 있습니다.

vLLM이란?​

vLLM은 *Paged Attention 기술을 활용하여 GPU 메모리 내 KV 캐시(Key-Value cache)를 효율적으로 관리하는 오픈소스 프레임워크(LLM 추론 엔진)입니다. 한정된 GPU 자원으로도 응답 속도를 극대화하여 원활한 AI 구동을 지원합니다.

*Paged Attention: LLM 추론 시 KV 캐시를 고정 크기 블록으로 나누어 관리하는 메모리 최적화 기법. 메모리 단편화를 줄이고 GPU 메모리 효율을 크게 개선함.

PRO6000 GPU 서버 강점​

GPU 성능 차세대 NVIDIA Blackwell 기반의 PRO6000은 기존 6000Ada 대비 VRAM 용량이 약 2배 증가했습니다.

대용량 메모리 최대 864GB 메모리(GDDR7-ECC & DDR5 기반)를 지원하여 대규모 LLM 운영 환경에서 더욱 안정적입니다.

vLLM 최적화 가상 환경에서도 vLLM 기반의 빠른 토큰 응답을 보장하여 실시간 AI 서비스에 최적화되어 있습니다.

검증된 성능 자체 테스트 결과 GPT-OSS 120B 모델 기준 초당 181.42 Token의 높은 처리 성능을 확인하였습니다
(PRO6000 GPU 1개 기준).

“비싼 HBM GPU 없어도 OK!”
“보급형 GPU의 수평 확장을 통해 합리적 비용으로 많은 VRAM을 확보하세요!
“소규모 기업도 부담 없이 LLM 개발에 도전할 수 있습니다”

서버 비용 허리 휠 때, 반값서버! 스마일서브입니다.

LLM을 도입하고 싶지만, 서버 비용, 성능, 안정성 이슈로 망설이셨던 분들을 위해 준비했습니다.
우선 Ollama는 NVIDIA뿐 아니라 AMD 등 다양한 하드웨어를 지원하는 유연한 프레임워크입니다.
VRAM이 부족한 경우 CPU와 DRAM을 보조 자원으로 활용하여, 소형~초대형까지 다양한 LLM 서비스를 구동할 수 있습니다.
소형 LLM이라면 내장 GPU만으로도 운용이 가능할 만큼 실용적입니다. 이러한 흐름에 맞춰 Ollama, vLLM 등의 프레임워크에 최적화된 GPU 서버를 새롭게 출시했습니다.
또한 기존 GPU 서버들도 일부 리뉴얼하여 더 나은 성능과 효율을 제공합니다.
어떤 변화가 있었는지 지금 확인해 보세요!