The letter

One letter a week, in your inbox.

The week's signal, what shipped, what is worth running tonight, and the editor's note. No tracking, no ads, nothing else.

We keep your address, your language and the date you joined, nothing else. Every letter has a one-click unsubscribe link that deletes the record.

← Accept All   Archive
Qiita (LLM)Japan

M5 MaxでローカルVLMを実測:MoEは約84 tok/s、30B級Dense・CPU・ANE併用はどうだったか

September 24

はじめに 画像を見て会話し、観測した内容を記憶するローカルAIシステムを開発しています。以下では、このシステムを「むつきちゃん」と呼びます。 M4 ProからM5 Maxへ移行したところ、モデルがメモリに載るにもかかわらず、生成速度が期待より遅い問題に遭遇しました。実行経...

Chips & compute
Read at Qiita (LLM) ↗

Related

More from Qiita (LLM) on Accept All.