📄️ Ollama (가상서버)KR1-Z07에서 제공되는 가상서버에서 사용할 수 있는 Ollama는 CPU 및 GPU을 혼합해서 사용 할 수 있는 경량 플랫폼으로 전용 리포지토리를 통해 양자화 모델을 작동 할 수 있습니다.📄️ vllm (가상서버)KR1-Z07에서 제공되는 가상서버에서 사용할 수 있는 vllm은 GPU의 VRAM을 사용하여 LLM 추론 모델을 효율적으로 작동 시킬 수 있습니다.
📄️ Ollama (가상서버)KR1-Z07에서 제공되는 가상서버에서 사용할 수 있는 Ollama는 CPU 및 GPU을 혼합해서 사용 할 수 있는 경량 플랫폼으로 전용 리포지토리를 통해 양자화 모델을 작동 할 수 있습니다.