Zenn (AI)Japan
data2vec / data2vec 2.0：文脈を含む正解の学習と、その計算の効率化
1. はじめに 自己教師あり学習では、ラベルを人が与える代わりに、データから学習問題を作る。その代表が、入力の一部を隠して予測する masked prediction である。 ただし、「隠したものを予測する」と言っても、何を正解にするかには選択の余地がある。文章ならトークンID、画像なら画素値や離散的な画像トークン、音声なら学習した音声単位、といった具合である。
Read at Zenn (AI) ↗More from Zenn (AI) on Accept All
JapanClaude CodeとCodexを同じリポジトリで並列に動かす: git worktreeの落とし穴と相互レビュー Zenn (AI)
JapanAnthropic、AIの試験を全部ネットから切り離す Zenn (AI)
Japan日本語の会議録音、ローカルWhisperはどのサイズで足りる？ Macで6サイズ×雑音・話し声・用語ヒントを実測した Zenn (AI)
JapanCloudflare Pagesで消したファイルは、デプロイごとのURLに残る — 404を確かめても消えていなかった Zenn (AI)
JapanAIで仕事は速くなった。なのに「入力」だけ、まだ渋滞していない？ Zenn (AI)
