# inference

LMCache: Supercharge Your LLM with the Fastest KV Cache Layer

Find the local LLM that actually runs and performs best on your hardware. Ranked by real, recency-aware benchmarks, not parameter count. One command, run it instantly.

vLLM-Omniは、テキストだけでなく画像・動画・音声など複数の種類のデータを同時に扱えるAIモデルを、高速かつ低コストで動かすためのフレームワーク（ソフトウェアの骨組み）です。もともとテキスト専用だったvLLMという人気の高速推論エンジ

Open-source inference server and production cluster for all the models your agent needs.