"LLM" 태그로 연결된 1개 게시물개의 게시물이 있습니다.

“비싼 HBM GPU 없어도 OK!”
“보급형 GPU의 수평 확장을 통해 합리적 비용으로 많은 VRAM을 확보하세요!
“소규모 기업도 부담 없이 LLM 개발에 도전할 수 있습니다”

서버 비용 허리 휠 때, 반값서버! 스마일서브입니다.

LLM을 도입하고 싶지만, 서버 비용, 성능, 안정성 이슈로 망설이셨던 분들을 위해 준비했습니다.
우선 Ollama는 NVIDIA뿐 아니라 AMD 등 다양한 하드웨어를 지원하는 유연한 프레임워크입니다.
VRAM이 부족한 경우 CPU와 DRAM을 보조 자원으로 활용하여, 소형~초대형까지 다양한 LLM 서비스를 구동할 수 있습니다.
소형 LLM이라면 내장 GPU만으로도 운용이 가능할 만큼 실용적입니다. 이러한 흐름에 맞춰 Ollama, vLLM 등의 프레임워크에 최적화된 GPU 서버를 새롭게 출시했습니다.
또한 기존 GPU 서버들도 일부 리뉴얼하여 더 나은 성능과 효율을 제공합니다.
어떤 변화가 있었는지 지금 확인해 보세요!