Qiita (LLM)Japan
24GB推奨のモデルを16GBで:Nemotron 3.5 Bolt の速度・日本語品質・エージェント実験
要点 NVIDIA の Nemotron 3.5 Bolt(総74B・アクティブ9B、2bit 量子化)は、「24GBに収まる」とうたわれたモデルです。手元の RTX 5070 Ti(VRAM 16GB)で動かし、速度、日本語の品質、エージェントの部品としての実力を、同じ...
Read at Qiita (LLM) ↗More from Qiita (LLM) on Accept All
JapanローカルLLMの記事が読めない人のための最小用語集 — tok/s・prefill・num_ctx・ハーネスを実例つきで解説 Qiita (LLM)
JapanRyzen AI MAX+ 395でNemotron 3.5 Super VLを動かす：画像・動画認識とQwen3.6・Boltの速度比較 Qiita (LLM)
JapanLangChainの構造化出力がnullを返して夜間バッチが全滅した — OutputParserExceptionを防ぐ3つのガードと完全実装 Qiita (LLM)
JapanAIが示したファイルと行番号を、どこまで信用するか――根拠の再取得と検証境界 Zenn (AI)
JapanGo2 を歩かせる — 四足歩行の基本 Zenn (AI)
