Qiita (LLM)Japan
M5 MaxでローカルVLMを実測:MoEは約84 tok/s、30B級Dense・CPU・ANE併用はどうだったか

はじめに 画像を見て会話し、観測した内容を記憶するローカルAIシステムを開発しています。以下では、このシステムを「むつきちゃん」と呼びます。 M4 ProからM5 Maxへ移行したところ、モデルがメモリに載るにもかかわらず、生成速度が期待より遅い問題に遭遇しました。実行経...
Read at Qiita (LLM) ↗Related
JapanGoogle AIサブスクに「Colab」有料特典をバンドル 「高性能GPU」にアクセス可能に ITmedia AI+

SiliconNVIDIA Releases RTX Kit 2026.3 and RTX Mega Geometry 2.0 SDK for Developers TechPowerUp

GitHubQ.ANT gives away the software for its light-powered AI chips in a CUDA-style bet on developers The New Stack

SiliconValidate GPU Cluster Readiness Before AI Workloads Land NVIDIA Technical Blog

LabsHow to Use NVIDIA Warp and MjWarp to Accelerate Robotics Simulation and Learning Workflows Hugging Face Blog
