
DeepSeek, 자사 서빙 추론 엔진 DeepInfer를 오픈소스로 공개
#DeepSeek이 자사 대규모 프로덕션 서비스를 돌리는 추론 프레임워크(inference framework) DeepInfer를 오픈소스로 공개했습니다. 이번 공개판은 오프라인 추론을 지원하며 DeepSeek-V4.1-Flash 모델과 NVIDIA SM100, 화웨이 Ascend 950을 대상으로 합니다. 배치 불변 추론과 결정적 샘플링(deterministic sampling)을 내세웠고, 공개 하루 만에 GitHub 스타 1.1만 개를 넘기며 Hacker News 1위에 올랐습니다.
💡오픈 모델을 직접 서빙한다면 vLLM·SGLang 외에 원 개발사 최적화 엔진이라는 선택지가 생겼습니다. 같은 입력에 같은 출력을 내는 결정적 추론은 에이전트 테스트의 재현성 확보에 바로 쓸 수 있습니다.




