SemiAnalysisAI/InferenceXPython496
InferenceX™は、AI推論フレームワーク（vLLM、SGLang、TensorRT-LLMなど）のパフォーマンスを毎晩自動でベンチマークするオープンソースツールです。NVIDIA H100、B200、GB200やAMD MI355Xなど最新のGPUでの実測性能を継続的に追跡し、リアルタイムでダッシュボードに公開しています。AI推論の最新性能を把握したい企業や研究者が、ハードウェア選定や最適化の判断材料として活用できます。ソフトウェアの進歩が日々続く中で、常に最新の性能データを提供する貴重なリソースです。
ユースケース: AI推論システムの性能比較やハードウェア選定の判断材料として使用
- 毎晩自動で最新のベンチマーク結果を更新
- 複数の主要GPU（NVIDIA、AMD）での実測比較データを提供
GitHubで見る →
Open Source Continuous Inference Benchmarking Qwen3.5, DeepSeek, GPTOSS - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 vs H100 & soon™ TPUv6e/v7/Trainium2/3