The letter

One letter a week, starting soon.

The week's signal, what shipped, what is worth running tonight, and the editor's note. No tracking, no ads, nothing else.

We keep your address, your language and the date you joined, nothing else. Every letter has a one-click unsubscribe link that deletes the record.

← Accept All   Archive
Qiita (LLM)Japan

OpenTelemetryとGrafanaでLLMアプリのレイテンシ・トークン使用量・推定コストを可視化する

10.30

LLMアプリを運用していると、「応答が遅くなった」「トークンを使いすぎている」「どのモデルでコストが増えたのか分からない」といった問題が起きます。 ログにリクエスト内容やレスポンスを出力する方法もありますが、集計や時系列での比較には向きません。そこで今回は、OpenTele...

Read at Qiita (LLM) ↗

More from Qiita (LLM) on Accept All

More from Qiita (LLM) on Accept All.