The letter

One letter a week, in your inbox.

The week's signal, what shipped, what is worth running tonight, and the editor's note. No tracking, no ads, nothing else.

We keep your address, your language and the date you joined, nothing else. Every letter has a one-click unsubscribe link that deletes the record.

← Accept All   Archive
Zenn (AI)Japan

答えは合っているのに不正解? LLMベンチマークの点数はどう決まるのか

September 28

はじめに Sun* の魯です。データサイエンティストとして分析・モデリングの仕事を5〜6年やってきて、ここ最近は AI / LLM を組み込んだシステムの設計・実装を担当しています。 新しいモデルが出るたびに、数十項目のスコア表が並びます。そして社内でも、お客様との打ち合わせでも、こう聞かれます。 「こっちのモデル、ベンチマークで3pt高いですよね。

Read at Zenn (AI) ↗

More from Zenn (AI) on Accept All

More from Zenn (AI) on Accept All.