metal

클라우드 API 비용이 부담스러운 건 나만의 문제가 아닐 거다. GPT-4o 한 달 쓰면 $20은 기본이고, Claude API로 자동화 파이프라인 돌리면 토큰 비용이 눈에 보이게 쌓인다. 그래서 로컬 LLM을 세팅하기로 했다. 내 메인 장비는 MacBook Pro M1 32GB인데, 결론부터 말하면 — 13B 모델까지는 쾌적하게, 30B급도 느리지만 돌아간다. Ollama 덕분에 세팅도 5분이면 끝난다. 이 글은 M1 32GB … 더 읽기

클라우드 API 비용이 부담스러운 건 나만의 문제가 아닐 거다. GPT-4o 한 달 쓰면 $20은 기본이고, Claude API로 자동화 파이프라인 돌리면 토큰 비용이 눈에 보이게 쌓인다. 그래서 로컬 LLM을 세팅하기로 했다. 내 메인 장비는 MacBook Pro M1 32GB인데, 결론부터 말하면 — 13B 모델까지는 쾌적하게, 30B급도 느리지만 돌아간다. Ollama 덕분에 세팅도 5분이면 끝난다. 이 글은 M1 32GB … 더 읽기

클라우드 API 비용이 부담스러운 건 나만의 문제가 아닐 거다. GPT-4o 한 달 쓰면 $20은 기본이고, Claude API로 자동화 파이프라인 돌리면 토큰 비용이 눈에 보이게 쌓인다. 그래서 로컬 LLM을 세팅하기로 했다. 내 메인 장비는 MacBook Pro M1 32GB인데, 결론부터 말하면 — 13B 모델까지는 쾌적하게, 30B급도 느리지만 돌아간다. Ollama 덕분에 세팅도 5분이면 끝난다. 이 글은 M1 32GB … 더 읽기