
LiteLLM v1.98.0, 이미지 서명과 PTU 원가
#LLM 게이트웨이 LiteLLM이 8/23 v1.98.0을 냈습니다. 릴리스 노트 맨 위에 올린 건 공급망 보안입니다. "모든 LiteLLM 도커 이미지는 cosign으로 서명된다"며, 커밋 해시를 고정해 검증하는 방식을 권장 절차로 명문화했습니다. 게이트웨이는 조직의 모든 LLM 트래픽이 지나는 단일 관문이라 이미지 위변조가 곧 전사 키 유출로 이어집니다. 두 번째 축은 비용입니다. PTU(프로비저닝 처리량) 정액 요금을 모델 배포 설정, 일일 롤업, Usage 페이지까지 관통해 귀속하는 기능이 PR 4건으로 한꺼번에 들어갔습니다. 종량제만 계산하던 리포트가 Azure·Bedrock의 정액 계약을 잡지 못해 팀별 실제 원가가 왜곡되던 문제를 겨냥한 것입니다. 키·팀·모델 단위 출력 토큰 추정치 설정, Bedrock의 GLM 5·DeepSeek V3.2 네이티브 구조화 출력도 함께 담겼습니다. 별 57,082개.
💡게이트웨이를 사내에 세워 뒀다면 배포 파이프라인에 cosign verify 한 줄을 넣어 이미지 출처를 강제하고, PTU 계약이 있다면 원가 리포트를 다시 열어 팀별 숫자가 실제와 맞는지 확인해 보세요.





