쿠버네티스(Kubernetes) AI 워크로드 운영 가이드
생성형 AI 도입이 인프라팀의 숙제로 내려오면서 질문의 결이 바뀌었습니다. "모델을 어디서 학습시키지?"가 아니라 "값비싼 GPU 수십 장을 여러 팀이 어떻게 나눠 쓰고, 추론 서비스를 어떻게 트래픽에 맞춰 늘렸다 줄이지?"입니다.
AI 시대, 가상서버 대신 쿠버네티스를 선택하는 이유
오늘날 우리는 ChatGPT로 대표되는 거대 언어 모델(LLM)이 촉발한 인공지능(AI) 혁명의 한가운데에 서 있습니다.
전문가들이 클라우드보다 클라우드 네이티브를 말하는 이유
AI 기술이 비즈니스의 핵심으로 자리 잡은 오늘날, 많은 기업과 정책 결정자들이 '클라우드 도입'을 외치고 있습니다.
vLLM 모니터링 가이드 — Prometheus·Grafana로 성능 관측
오늘 이 글에서는 LLM 서빙의 게임 체인저로 불리는 vLLM과, 그 심장부의 움직임을 속속들이 들여다볼 수 있게 해주는 강력한 조합, Prometheus와 Grafana에 대해 이야기하고자 합니다.
