vLLM 모니터링 가이드 — Prometheus·Grafana로 성능 관측
오늘 이 글에서는 LLM 서빙의 게임 체인저로 불리는 vLLM과, 그 심장부의 움직임을 속속들이 들여다볼 수 있게 해주는 강력한 조합, Prometheus와 Grafana에 대해 이야기하고자 합니다.
Mono2Micro란? 애플리케이션을 자동으로 마이크로서비스화하는 도구
Mono2Micro는 IBM이 만든 자동화 도구로, 모놀리식 애플리케이션(하나로 묶인 큰 시스템)을 마이크로서비스(작은 서비스 단위)로 나누어주는 솔루션입니다.
