ライセンス不明のOSSは記事にできなかったが、GPU側の「動かない」はsglangへの小さなパッチで越えられた

筆者は海外のAI関連ニュースを毎日1本検証して発信するチャレンジの14日目として、Hugging Face Daily Papersに掲載されていたTokenRouter(thu-nics)を検証しようとした。複数のLLMをトークン単位で動的に振り分け、大きなモデルと小さなモデルを組み合わせて推論コストを抑える、というルーティング手法の実装である。 結論から書く。

Related

JapanMicrosoft、Copilotなどを自社開発チップで稼働 新チップでNVIDIA依存から脱却狙いか ITmedia AI+

JapanMicrosoft、第3世代AIチップ「Maia 300」を2027年に投入 GPU比で電力効率4割向上、自社サービスの主力推論基盤に ITmedia AI+

Japanさくらインターネット、GPU専有によりトークン消費量を気にせず定額で利用できる「さくらのAI Engineプライベートエディション」提供開始を発表 Publickey

JapanGoogle、AI電子透かしの検出サイト「SynthID Detector」を一般向けに公開 ——OpenAI・NVIDIA・KakaoのAI生成コンテンツにも対応、Appleの生成物も近く確認可能に gihyo.jp

SiliconNew USFP Pluggable Optics Form Factor for Higher Speeds from Cisco and NVIDIA ServeTheHome

AsiaHuawei, once hobbled by US sanctions, passes 100 million Kirin chip milestone SCMP Tech

More from Zenn (AI) on Accept All.