로컬 AI
- AI 써서 앱 만들다 결국 Mac Studio를 질렀다
8GB M1 iMac으로 앱을 만들며 겪은 메모리와 저장 공간 문제, Ollama Qwen 실험, Mac Studio를 주문한 이야기를 적었다.
- 로컬 LLM은 왜 느릴까? — Prefill과 Decode
로컬 LLM의 첫 답변 대기와 생성 속도는 왜 다를까? Prefill, Decode, TTFT와 KV Cache를 정리하고 Mac Studio에서 비교할 조건을 잡아봤다.
8GB M1 iMac으로 앱을 만들며 겪은 메모리와 저장 공간 문제, Ollama Qwen 실험, Mac Studio를 주문한 이야기를 적었다.
로컬 LLM의 첫 답변 대기와 생성 속도는 왜 다를까? Prefill, Decode, TTFT와 KV Cache를 정리하고 Mac Studio에서 비교할 조건을 잡아봤다.