The letter

One letter a week, starting soon.

The week's signal, what shipped, what is worth running tonight, and the editor's note. No tracking, no ads, nothing else.

We keep your address, your language and the date you joined, nothing else. Every letter has a one-click unsubscribe link that deletes the record.

← Accept All   Archive
Qiita (LLM)Japan

VRAM 8GBのノートPCで35B(MoE)をDockerで動かす—— -ot "exps=CPU" でエキスパート層だけRAMに逃がす

11.05

この記事の立場:自分のPC・自分の資産の上で、ローカルLLMを動かした記録です。コピペで動く compose.yaml と、実際にハマった所の対処をそのまま載せます。 個人的な備忘録パートとして、お許しください。 0. 要点 対象読者:8〜12GB級のGPUしか無く...

Read at Qiita (LLM) ↗

More from Qiita (LLM) on Accept All

More from Qiita (LLM) on Accept All.