
llama.cpp v0.3.0, 옵션 하나로 GPU 텐서 병렬
#ggml-org가 llama.cpp v0.3.0을 8월 25일 정식 릴리스했다. 눈에 띄는 건
-sm tensor 옵션 하나로 DeepSeek 4를 여러 GPU에 텐서 병렬로 쪼개 돌릴 수 있게 된 점이다. 함께 다중 시퀀스 롤백 버그와 meta 백엔드의 텐서 분할 상태 전파 오류도 잡혔다. 멀티모달 쪽은 신규 DSA-ISWA KV 캐시를 쓰는 dots3-note 모델을 지원하고, mtmd가 WebP 디코딩과 Pillow와 동일한 리사이즈를 구현했다 — 파이썬 전처리 파이프라인과 결과가 미묘하게 어긋나던 문제가 줄어든다. GLM-4.5-Air는 다중 토큰 예측(MTP)을 얻었고, 동반 승격된 ggml v0.22.0은 Metal 커널을 연산 단위 소스로 재구성해 병렬 컴파일을 도입했다. 서버에는 슬롯 진단용 LLAMA_SERVER_SLOTS_N_DIFF 노브가, 웹 UI에는 탭형 채팅 내비게이션이 붙었다.💡로컬에서 대형 MoE를 굴리다 GPU 한 장에 안 들어가 접었다면
-sm tensor부터 다시 재보라. 멀티모달 전처리는 이제 파이썬 쪽과 리사이즈 결과를 맞춰볼 수 있다.








