
LiteLLM v1.98.0, 이미지 서명과 PTU 원가
LLM 게이트웨이 LiteLLM이 8/23 v1.98.0을 냈습니다. 릴리스 노트 맨 위에 올린 건 공급망 보안입니다. "모든 LiteLLM 도커 이미지는 cosign으로 서명된다"며, 커밋 해시를 고정해 검증하는 방식을 권장 절차로 명문화했습니다. 게이트웨이는 조직의 모든 LLM 트래픽이 지나는 단일 관문이라 이미지 위변조가 곧 전사 키 유출로 이어집니다. 두 번째 축은 비용입니다. PTU(프로비저닝 처리량) 정액 요금을 모델 배포 설정, 일일 롤업, Usage 페이지까지 관통해 귀속하는 기능이 PR 4건으로 한꺼번에 들어갔습니다. 종량제만 계산하던 리포트가 Azure·Bedrock의 정액 계약을 잡지 못해 팀별 실제 원가가 왜곡되던 문제를 겨냥한 것입니다. 키·팀·모델 단위 출력 토큰 추정치 설정, Bedrock의 GLM 5·DeepSeek V3.2 네이티브 구조화 출력도 함께 담겼습니다. 별 57,082개.
💡게이트웨이를 사내에 세워 뒀다면 배포 파이프라인에 cosign verify 한 줄을 넣어 이미지 출처를 강제하고, PTU 계약이 있다면 원가 리포트를 다시 열어 팀별 숫자가 실제와 맞는지 확인해 보세요.
- 누가
- BerriAI LiteLLM 메인테이너 팀 (yucheng-berri, mateo-berri, deepanshululla, yassin-berriai 등)
- 무엇을
- LLM 게이트웨이 LiteLLM v1.98.0 — 모든 Docker 이미지의 cosign 서명 검증 절차를 릴리스 노트 최상단에 명문화하고, PTU(프로비저닝 처리량) 정액 비용을 모델 배포·일일 롤업·Usage 페이지까지 관통해 귀속하는 기능을 추가
- 언제
- 2026-08-23T00:28:24Z
- 왜
- 게이트웨이는 조직의 모든 LLM 트래픽이 지나가는 단일 관문이라 이미지 위변조가 곧 전사 키 유출로 이어진다. 동시에 종량제(per-token) 과금만 계산하던 비용 리포트가 Azure/Bedrock의 PTU 같은 정액 계약을 잡지 못해 팀별 실제 원가가 왜곡되던 문제를 풀려는 것
#litellm#llm-gateway#supply-chain#cosign#finops
이미지: AI 생성 이미지원문 →


