Qiita (LLM)
4 stories
Qiita (LLM)
Qiita (LLM)JapanVRAMは束ねない。NVIDIA PAIRが家庭内PCを推論クラスタに変える仕組み ローカルLLMを動かすPCを増やしても、1本の推論がその台数分だけ速くなるわけではない。 NVIDIA PAIRが減らすのは、複数の独立したリクエストが1台のGPUの前で並ぶ待ち時間だ。 公式デモでは処理時間が18分から8分48秒へ短縮されたが、その数字を正しく読むには「...
Qiita (LLM)
Qiita (LLM)JapanContext・Loop・Harness Engineeringの違いを、AIエージェントの設計とPythonで整理する AIエージェントに仕様書を渡したのに、古いAPIを使って実装する。テストに失敗すると、同じ修正を繰り返す。動くコードはできたが、本番環境への書き込みまで実行しようとする。 どれも「プロンプトを改善すればよい」と考えたくなる問題です。ただ、足りない情報、反復の進め方、実行権...
Qiita (LLM)
Qiita (LLM)Japan【完全ローカル】個人情報を守って添削！STAR法＋ローカルLLMで「ES・自己PRチェッカー」を作った話 1. はじめに 就職活動や転職活動で書くエントリーシート（ES）や職務経歴書には、学歴・職歴・具体的な実績データなどの個人情報が詰まっています。これらをクラウドAIサービスに入力することに抵抗を感じる方も多いはずです。 また、CHatGPTやGeminiなどのAIサービス...
Qiita (LLM)
Qiita (LLM)JapanGPT-6 Astra、62.7%→99.9%のその先──Harnessの1階上「Loop Engineering」を対話で理解する 「前回の記事、覚えていますか？」 「GPT-6 AstraがARC-AGI-3で99.9%を出した話ですよね」 「そう」 「しかも、同じGPT-6 Astraなのに62.7%という結果もあった」 「そうだ」 「違ったのは、モデルではなくharnessだった」 「そこまで覚え...
Nothing matches this filter yet.