The letter

One letter a week, starting soon.

The week's signal, what shipped, what is worth running tonight, and the editor's note. No tracking, no ads, nothing else.

We keep your address, your language and the date you joined, nothing else. Every letter has a one-click unsubscribe link that deletes the record.

← Accept All   Archive
Qiita (LLM)Japan

vLLMで複数ユーザー向けLLM推論サーバーを構築する

11.12

ローカルでLLMを動かす場合、1人ずつ順番に推論する構成では、利用者が増えたときに待ち時間が急増します。 そこで今回は、vLLMを使って複数ユーザーから同時にリクエストを受け付ける推論サーバーを構築します。vLLMはOpenAI互換APIを提供できるため、既存のOpenAI...

Open weights
Read at Qiita (LLM) ↗

Related

More from Qiita (LLM) on Accept All.