Qiita (LLM)Japan
3値27B(Ternary-Bonsai-2-27B)を RTX 5070×2 の vLLM TP=2 で本番運用した記録 — 最後の壁は PCIe x4 と WSL2 の通信
RTX 5070（12GB）2枚の WSL2 環境で、3値量子化の 27B モデル Ternary-Bonsai-2-27B を vLLM のテンソル並列（TP=2）で本番運用するまでの記録です。移植で踏んだ穴、効いた高速化と効かなかった高速化、そして最後まで残った「長文の...
Read at Qiita (LLM) ↗Related
AsiaStepFun Step 5 Preview: ~600B MoE Long-Horizon Agent; Open Weights Due Oct 15 Pandaily
AsiaNaiveAI Open-Weights Naive-N0.5-Flash: 309B MoE, Hybrid SWA–DSA 1M Context, MIT Pandaily
Voices[AINews] Xiaomi MiMo-V2.6-Pro 1T-A42B: the new top Open Weights model, trained for $3M Latent Space
LabsTransformers now runs llama.cpp quants Hugging Face Blog
EuropeMistral raises €3B to make sovereign, open-weight AI the technology frontier Mistral AI
