The letter

One letter a week, in your inbox.

The signal of the week, what shipped, what to try, and the editor's note. No tracking, no ads, nothing else.

We keep your address, your language and the date you joined, nothing else. Every letter has a one-click unsubscribe link that deletes the record.

← Accept All   Archive
Zenn (AI)Japan

文字数・バイト数からのトークン数推定は実際どれくらいズレるのか

September 11
文字数・バイト数からのトークン数推定は実際どれくらいズレるのか

背景 実務で、LLM への入力テキストがトークン数の上限を超えてエラーになる事象が発生し、対策を検討する場面がありました。対策案として、LLM に投げる前に文字数やバイト数、あるいは tiktoken のようなトークナイザーでトークン数を事前に見積もり、上限を超えそうであれば送信前にエラーを表示する「事前バリデーション」方式が候補に挙がりました。 しかし議論の中で、「その見積もりが、実際に LLM に送ったときのトークン数とどこまで一致

Read at Zenn (AI) ↗

Related

More from Zenn (AI) on Accept All.