ローカルLLM study9: 三値量子化Bonsai 2 27Bを、同条件のQwen3.8-27Bと並べて測り直す

結論: 27Bの単発の回答では、三値量子化のBonsai 2(1.77bit/weight)は通常量子化のQwen3.8-27B(2.88bit/weight)に目立つ差を出さず、速度は約2.3〜2.8倍だった。ただし自律的な複数ステップ(monocoder)では三値が1/4、通常が3/4で、通常量子化に及ばない兆候があった。単発の差は各1回なので結論にしていない。

More from Zenn (AI) on Accept All

JapanAIに設計をループで回させたら、検証60回・人間への確認73件だった話 Zenn (AI)

JapanAIにXの返信を任せたら、お礼を出さずに止まった —— 返してよい相手を「宛先」で決めておいた話 Zenn (AI)

JapanDirection Is the Voice: Why the Script, Not the Model, Decides a Good Zenn (AI)

Japan集約をどこまで機械的に導けるか――形式手法をベースとしたドメインモデリング Zenn (AI)

JapanDeepSeek Harnessのagent loopは本当に差し替え可能か、patchで壊してみた Zenn (AI)

JapanダウンロードフォルダのAGENTS.md攻撃を機に、Claude Codeの設定を点検した Zenn (AI)

More from Zenn (AI) on Accept All.