Zenn (AI)Japan
複数のLLMプロバイダーを使うときのフォールバック設計チェックリスト

LLMを使った機能を本番で運用していると、ある日突然「APIが遅い」「429が返り続ける」「特定の入力だけ拒否される」といった問題に出会います。プロバイダー側の障害やレート制限は、どれだけ品質の高いモデルを選んでもゼロにはなりません。 そこで多くのチームが検討するのが、別のモデルやプロバイダーへ自動で切り替えるフォールバックです。
Read at Zenn (AI) ↗More from Zenn (AI) on Accept All

JapanAIの不確実性を確率で扱う 〜AIの出力を安全にシステムへつなぐ意思決定層の設計〜 Zenn (AI)

Japan副業を Claude Code に任せたら、私の仕事はスマホで yes/no を押すだけになった(5日目・売上0円) Zenn (AI)

JapanOpenCodeを拡張して、複数の担当と定期実行をひとつのチャットにまとめる「いちょまる」を作った Zenn (AI)

Japan0円で、AIがゲームマスターの「ひとり用TRPG」を公開した話 Zenn (AI)

Japanリアルタイム音声エージェントのレイテンシ設計:500ms の内側 Zenn (AI)
