The letter

One letter a week, in your inbox.

The signal of the week, what shipped, what to try, and the editor's note. No tracking, no ads, nothing else.

We keep your address, your language and the date you joined, nothing else. Every letter has a one-click unsubscribe link that deletes the record.

← Accept All   Archive
Qiita (LLM)Japan

過学習したLLMのtop-1確率を制限したら、教師文の丸暗記が100%→16%になった【平田変換】

September 14
過学習したLLMのtop-1確率を制限したら、教師文の丸暗記が100%→16%になった【平田変換】

LLMをファインチューニングしていたら、教師データをほぼそのまま吐くようになった。 普通に考えれば、これは過学習である。 ところが、生成時の確率分布にかなり単純な操作を加えたところ: 教師文の完全コピー率:100% → 16% 100回生成したときの異なる回答数:62 ...

Read at Qiita (LLM) ↗

Related

More from Qiita (LLM) on Accept All.