Qiita (LLM)Japan
Ollamaで量子化モデルの速度・メモリ使用量・精度を比較する
ローカルでLLMを動かすとき、モデルの量子化形式をどれにするかで迷います。Q4_K_Mは軽そうですが精度が気になりますし、Q8_0やF16は高精度でもメモリに余裕が必要です。 この記事では、Ollamaで同じベースモデルの量子化違いを用意し、生成速度・メモリ使用量・回答品質...
Read at Qiita (LLM) ↗Related
JapanAAIF、Anthropicから寄贈されたエージェントスキルを傘下に ――OpenAIのOpen Responses、Hugging FaceのOpenEnv、AlibabaのOpenSandboxも gihyo.jp
JapanMarkdown・PDF・Word文書をLLM投入用データに変換する前処理パイプライン Qiita (LLM)
Nvidia open-sources Flora to make robot video labeling 125x cheaper than GPT-6 Astra The Decoder
AsiaMOSS-Image Passes 1 Million Downloads in Four Days and Tops Hugging Face Text-to-Image Trends Pandaily
OpenMobile-2 proves open-source smartphone agents can rival proprietary models The Decoder
