The letter

One letter a week, in your inbox.

The signal of the week, what shipped, what to try, and the editor's note. No tracking, no ads, nothing else.

We keep your address, your language and the date you joined, nothing else. Every letter has a one-click unsubscribe link that deletes the record.

← Accept All   Archive
Zenn (AI)Japan

RLHF における代理評価の最適化と客観的な正しさの乖離

September 14
RLHF における代理評価の最適化と客観的な正しさの乖離

AI の出力を評価するとき、「評価が上がった」と「性能が上がった」は同じ意味に見えやすい。しかし、評価値をそのまま学習へ戻す場合、評価は単なる測定器ではなく、どの出力を増やすかを決める条件になる。 この違いは、プログラムを 2 個の単体テストだけで評価する状況を考えると分かりやすい。2 個のテストを通ることは、プログラムが正しいことの証拠にはなる。ただし、その 2 個で仕様全体を覆っていなければ、未評価の入力で失敗する実装も同じ報酬を得

Research
Read at Zenn (AI) ↗

Related

More from Zenn (AI) on Accept All.