The letter

One letter a week, in your inbox.

The week's signal, what shipped, what is worth running tonight, and the editor's note. No tracking, no ads, nothing else.

We keep your address, your language and the date you joined, nothing else. Every letter has a one-click unsubscribe link that deletes the record.

← Accept All   Archive
Zenn (AI)Japan

小さいモデルで足りる仕事はどこか — 34MBの判定役をMacで動かし、どこからクラウドに渡すかを数字で決める

October 7

アプリに「予定を入れて」「タイマーを7分」程度の自然文入力を足したい。それだけのために毎回フロンティアモデル(最上位の巨大モデル)のAPIを叩くと、往復の遅延と課金が乗り、オフラインでは何もできなくなる。かといって手元で動く小さいモデルは、JSONすらまともに返さないという評判がある。この「小さいモデルで足りるのはどこまでか」を、感覚ではなく自分のマシンで出た数字で線引きする。

Read at Zenn (AI) ↗

More from Zenn (AI) on Accept All

More from Zenn (AI) on Accept All.