The letter

One letter a week, starting soon.

The week's signal, what shipped, what is worth running tonight, and the editor's note. No tracking, no ads, nothing else.

We keep your address, your language and the date you joined, nothing else. Every letter has a one-click unsubscribe link that deletes the record.

← Accept All   Archive
Qiita (LLM)Japan

Redisと埋め込みでLLMのセマンティックキャッシュを実装し、応答速度とAPIコストを削減する

11.06

LLMを使ったアプリケーションでは、ユーザーの質問が少し違うだけで、毎回APIを呼び出してしまいます。たとえば「東京の天気を教えて」と「東京の天気は?」は、文字列としては異なりますが、必要な回答はほぼ同じです。 そこで今回は、質問文を埋め込みベクトルに変換し、Redisのベ...

Read at Qiita (LLM) ↗

More from Qiita (LLM) on Accept All

More from Qiita (LLM) on Accept All.