RunPod Serverless で 27B GGUF の LLM を動かしたときのハマりどころ（llama.cpp・256K コンテキスト・コールドスタート）

はじめに OpenAI 互換の LLM API ゲートウェイ Apixo を個人開発しています（OpenRouter のように、統一 API・トークン課金・複数モデルのバックエンド）。上流 API との接続に加えて、Hugging Face のオープンウェイトモデルを自前...

Related

Voices[AINews] Kimi 3.1 Pro 104BA-2.8T: Fable-5.1-Class Open Weights narrows Closed-AI lead to 1 month... and Pro Highspeed API with 2-3× speed Latent Space

JapanQwen3-235Bの事後学習を1ノードで試す：4bit QLoRA＋GRPOの実行構成と報酬設計 Qiita (LLM)

AsiaSenseTime Open-Sources SenseNova-Loop-9B-Preview, a Looped Model That Runs Its Middle Layers Twice Pandaily

AsiaDeepSeek Harness Team Open-Sources a Super-agent Prototype That Finds and Fixes Bugs on Its Own Pandaily

AsiaXiaomi Open-Sources Xiaomi-OCR-0, a 0.8B Document Model That Tops OmniDocBench in Its Size Class Pandaily

GitHubMistral’s Large 4 open weights arrive with a 1-point coding lead over GLM-5.3: “There’s nothing you can’t do with this model that you can do with competitors.” The New Stack

More from Qiita (LLM) on Accept All.