The letter

One letter a week, starting soon.

The week's signal, what shipped, what is worth running tonight, and the editor's note. No tracking, no ads, nothing else.

We keep your address, your language and the date you joined, nothing else. Every letter has a one-click unsubscribe link that deletes the record.

← Accept All   Archive
Qiita (LLM)Japan

llama.cppでGPUに2層多く載せたら、プロンプト処理が19倍遅くなった:崖の見つけ方

11.15

先に結論 GPUに載せる層数(-ngl)を2層増やしただけで、プロンプト処理が19.3分の1になりました。この急な落ち込みを、以下「崖」と呼びます。 層数は42層から44層へ。変えた条件はそれだけ この環境のねらい目は40〜42層。-ngl 99(全層指定)は8点中で生...

Models & releasesOpen weightsChips & compute
Read at Qiita (LLM) ↗

Related

More from Qiita (LLM) on Accept All.