vllm-project/vllm

huggingface/transformers

lightseekorg/tokenspeed

テキスト・画像・音声・動画をまるごと高速推論！万能AIモデルの配信基盤 — vllm-omni

vLLM-Omniは、テキストだけでなく画像・動画・音声など複数の種類のデータを同時に扱えるAIモデルを、高速かつ低コストで動かすためのフレームワーク（ソフトウェアの骨組み）です。もともとテキスト専用

自分のパソコンでAIを動かそう！最新の大規模言語モデルをワンコマンドで実行 — ollama

Ollamaは、ChatGPTのようなAIモデルを自分のパソコン上で簡単に動かせるツールです。通常、AIモデルを使うにはクラウドサービスへの課金や複雑な環境構築が必要ですが、Ollamaを使えばたった