The letter

One letter a week, starting soon.

The week's signal, what shipped, what is worth running tonight, and the editor's note. No tracking, no ads, nothing else.

We keep your address, your language and the date you joined, nothing else. Every letter has a one-click unsubscribe link that deletes the record.

← Accept All   Archive
Qiita (LLM)Japan

M2 MacBook Air 24GB でローカルLLMを実用速度にする② 〜熱スロットリング・KVキャッシュ・計測の落とし穴〜

11.09

TL;DR 24GB の M2 MacBook Air でローカル LLM を運用するときに、速度の数字を狂わせる3つの要因を実測しました。 モデル選定の話は ① にまとめています。 ファンレス筐体は GPU フルロード 90 秒で熱スロットリングに入る。 GPU は...

Chips & compute
Read at Qiita (LLM) ↗

Related

More from Qiita (LLM) on Accept All.