# model-serving

A high-throughput and memory-efficient inference and serving engine for LLMs

vLLM-Omniは、テキストだけでなく画像・動画・音声など複数の種類のデータを同時に扱えるAIモデルを、高速かつ低コストで動かすためのフレームワーク（ソフトウェアの骨組み）です。もともとテキスト専用だったvLLMという人気の高速推論エンジ