쿠버네티스(Kubernetes) AI 워크로드 운영 가이드
생성형 AI 도입이 인프라팀의 숙제로 내려오면서 질문의 결이 바뀌었습니다. "모델을 어디서 학습시키지?"가 아니라 "값비싼 GPU 수십 장을 여러 팀이 어떻게 나눠 쓰고, 추론 서비스를 어떻게 트래픽에 맞춰 늘렸다 줄이지?"입니다.
vLLM 모니터링 가이드 — Prometheus·Grafana로 성능 관측
오늘 이 글에서는 LLM 서빙의 게임 체인저로 불리는 vLLM과, 그 심장부의 움직임을 속속들이 들여다볼 수 있게 해주는 강력한 조합, Prometheus와 Grafana에 대해 이야기하고자 합니다.
