
ai builder🛠 빌더 신호#73 · 2026. 9. 2.
48GB 맥에서 104GB 모델 돌리는 SSD 스트리밍
Swift와 MLX로 쓰인 slotstream이 8/31 v0.1.10을 냈고 9/1 Show HN에서 101점을 받았습니다. 4-bit 기준 디스크 104GB인 125B MoE 모델 Qwen3.8-Flash-Next를 SSD에서 전문가(expert) 단위로 스트리밍해, 48GB M5 Pro 맥에서 피크 메모리 32GB·웜 디코드 약 12 tok/s·콜드 스타트 약 3초로 구동합니다. MoE는 토큰마다 일부 전문가만 쓰는데 기존 런타임은 전체 가중치를 램에 올려야 했던 지점을 파고든 접근입니다. Ollama 호환 API를 제공하고 라이선스는 MIT, 별점은 공개 직후 급증 중입니다.














