LLMの応答を3〜10倍高速化！KVキャッシュを賢く再利用する省エネエンジン — LMCache
LMCache/LMCachePython8.7k
GitHubで見る →
LMCache: Supercharge Your LLM with the Fastest KV Cache Layer
技術情報
言語
Python
ライセンス
Apache-2.0
最終更新
2026-06-13
スター数
8,742
フォーク数
1,298
Issue数
311
トピック
amdcudafastinferencekv-cachellmpytorchrocmspeedvllm
過去のトレンド履歴
関連リポジトリ
huggingface/transformers
huggingface/transformersPython164.0k
cupy/cupy
cupy/cupyPython11.7k
Andyyyy64/whichllm
Andyyyy64/whichllmPython3.8k
テキスト・画像・音声・動画をまるごと高速推論！万能AIモデルの配信基盤 — vllm-omni
vllm-project/vllm-omniPython3.6k
vLLM-Omniは、テキストだけでなく画像・動画・音声など複数の種類のデータを同時に扱えるAIモデルを、高速かつ低コストで動かすためのフレームワーク（ソフトウェアの骨組み）です。もともとテキスト専用
NousResearch/hermes-agent
NousResearch/hermes-agentPython201.5k