Qiita (LLM)Japan
llama.cppでGPUに2層多く載せたら、プロンプト処理が19倍遅くなった:崖の見つけ方

先に結論 GPUに載せる層数(-ngl)を2層増やしただけで、プロンプト処理が19.3分の1になりました。この急な落ち込みを、以下「崖」と呼びます。 層数は42層から44層へ。変えた条件はそれだけ この環境のねらい目は40〜42層。-ngl 99(全層指定)は8点中で生...
Read at Qiita (LLM) ↗Related
ToolsDay 0 support for Mistral Large 4 on vLLM vLLM Blog

ToolsDay 0 support for Muse Spark Open on vLLM vLLM Blog

ToolsNvidia reportedly agrees to purchase Hugging Face for $13B Weights & Biases

Japanllama.cpp 1.0.0リリース ——API・ABIの非互換変更をメジャーバージョンの更新で明示へ gihyo.jp

Asia🗞️Nvidia Without Jensen, Alibaba’s Chip IPO, and Qwen4’s First Look Recode China AI
