GT 430でLLMを動かしたかっただけなのに、気づいたら推論ライブラリを作っていた話

はじめに 最近のLLM界隈ではGPUのVRAMが何GBあるか、メモリ帯域が何GB/sあるかという話がよく出てきます。 RTX 3090の24GBでも足りない、RTX 4090でも足りない、もっとVRAMが欲しい……。 そんな中、ふと考えました。 「逆に、15年くらい前のG...

More from Qiita (LLM) on Accept All

JapanGPT-5.6 SolとClaude Opus 4.8でCSVインポートツールを一度書いて使い回す実測 Qiita (LLM)

JapanGitHubが従来比180倍のスループット性能向上を実現へ、来年初頭に。AIエージェント時代に対応。GitHub Universe 2026 Publickey

JapanGitHub、より高度なコードレビューを行う「Copilot Code Review Max」発表。GitHub Universe 2026 Publickey

JapanAIの作業が迷走したとき、止める・戻す・やり直すを使い分ける：Esc・/rewind・/clearと、戻せない範囲 Zenn (AI)

JapanローカルLLM study8: Qwen3.8-27Bをstudy2〜4の手法で深掘りする Zenn (AI)

JapanAI協働：世界標準規格の野望・第2弾 — みんなも、ぐりぐりしてみませんか？（笑） Zenn (AI)

More from Qiita (LLM) on Accept All.