The letter

One letter a week, in your inbox.

The signal of the week, what shipped, what to try, and the editor's note. No tracking, no ads, nothing else.

We keep your address, your language and the date you joined, nothing else. Every letter has a one-click unsubscribe link that deletes the record.

← Accept All   Archive
Zenn (AI)Japan

Kimi K3の1M文脈を支えるKimi Delta Attentionという線形注意

September 9

Kimi K3の1M文脈を支えるKimi Delta Attentionという線形注意 1Mトークンの文脈を「現実的な速度とメモリで」回す。この一句を額面どおり実現するのは、実はモデルを大きくするより難しい。文脈が伸びるほど注意機構のコストが効いてきて、モデルの賢さより先に速度とメモリのほうが破綻するからだ。Moonshot AIのKimi K3は2.8兆パラメータ・896エキスパート(トークンあたり16個だけ活性化)・1Mトークン文脈

Read at Zenn (AI) ↗

Related

More from Zenn (AI) on Accept All.