vllm-project/vllm

vllm-project/vllmPython94.7k

A high-throughput and memory-efficient inference and serving engine for LLMs

技術情報

言語

Python

ライセンス

Apache-2.0

最終更新

2026-10-21

スター数

94,717

フォーク数

23,720

Issue数

9,213

トピック

amdblackwellcudadeepseekdeepseek-v3gptgpt-ossinferencekimillamallmllm-servingmodel-servingmoeopenaipytorchqwenqwen3tputransformer

2026-10-20

テキスト・画像・音声・動画をまるごと高速推論！万能AIモデルの配信基盤 — vllm-omni

vLLM-Omniは、テキストだけでなく画像・動画・音声など複数の種類のデータを同時に扱えるAIモデルを、高速かつ低コストで動かすためのフレームワーク（ソフトウェアの骨組み）です。もともとテキスト専用

lightseekorg/tokenspeed

huggingface/transformers

unslothai/unsloth

LMCache/LMCache