Qiita (LLM)Japan
ローカル LLM にはメモリがどれだけ要るのか——モデルの大きさから見積もる
ローカル LLM を動かすサーバーを選ぶとき、ついモデルのダウンロードサイズだけを見てしまいます。「5.2GB のモデルだから、8GB あれば余裕」という考え方です。 半分は正しいのですが、これだと大事な項目を1つ落とします。コンテキスト長と同時リクエスト数に比例して増える...
Read at Qiita (LLM) ↗More from Qiita (LLM) on Accept All
Japand1-2B と d1-3B・d1 API の日本語ベンチマークでの比較 Qiita (LLM)
JapanLLM の出力を SQL・シェル・HTML に渡すときの注意：従来のインジェクション対策で防ぐ Qiita (LLM)
Japan予約タスク4,758回のモデルをローカルの台帳から数えてみた。変わるときは全部いっぺんに変わった Qiita (LLM)
JapanAI学習への利用拒否をrobots.txtで一括指定へ OpenAIやGoogleなどが対応表明 ITmedia AI+
Japan1つのキーで主要モデル70種に接続できるOSSのローカルAIボット「AnyModelBot」 Zenn (AI)
