llama.cpp v0.3.0, 옵션 하나로 GPU 텐서 병렬
ggml-org가 llama.cpp v0.3.0을 8월 25일 정식 릴리스했다. 눈에 띄는 건
-sm tensor 옵션 하나로 DeepSeek 4를 여러 GPU에 텐서 병렬로 쪼개 돌릴 수 있게 된 점이다. 함께 다중 시퀀스 롤백 버그와 meta 백엔드의 텐서 분할 상태 전파 오류도 잡혔다. 멀티모달 쪽은 신규 DSA-ISWA KV 캐시를 쓰는 dots3-note 모델을 지원하고, mtmd가 WebP 디코딩과 Pillow와 동일한 리사이즈를 구현했다 — 파이썬 전처리 파이프라인과 결과가 미묘하게 어긋나던 문제가 줄어든다. GLM-4.5-Air는 다중 토큰 예측(MTP)을 얻었고, 동반 승격된 ggml v0.22.0은 Metal 커널을 연산 단위 소스로 재구성해 병렬 컴파일을 도입했다. 서버에는 슬롯 진단용 LLAMA_SERVER_SLOTS_N_DIFF 노브가, 웹 UI에는 탭형 채팅 내비게이션이 붙었다.💡로컬에서 대형 MoE를 굴리다 GPU 한 장에 안 들어가 접었다면
-sm tensor부터 다시 재보라. 멀티모달 전처리는 이제 파이썬 쪽과 리사이즈 결과를 맞춰볼 수 있다.- 누가
- ggml-org / llama.cpp 메인테이너 팀 (GitHub 릴리스 자동 배포)
- 무엇을
- llama.cpp v0.3.0 릴리스 — dots3-note 멀티모달 모델(신규 DSA-ISWA KV 캐시) 지원, GLM-4.5-Air MTP(다중 토큰 예측), DeepSeek 4 텐서 분할 모드 `-sm tensor` 추가 및 다중 시퀀스 롤백 버그 수정, ggml v0.22.0 승격
- 언제
- 2026-08-25T10:22:58Z
- 왜
- 대형 MoE·멀티모달 모델을 여러 GPU/백엔드에 쪼개 로컬에서 실행하려는 수요에 대응하고, meta 백엔드의 텐서 분할 상태 전파 버그와 DeepSeek 4 다중 시퀀스 롤백 오류를 해결하기 위해. Metal 커널을 op 단위 소스로 재구성해 병렬 컴파일도 도입
#llama.cpp#local-inference#deepseek#multimodal#ggml
이미지: AI 생성 이미지원문 →
