A unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.
NVIDIA/Model-OptimizerPython4.6k
GitHubで見る →
技術情報
言語
Python
ライセンス
Apache-2.0
最終更新
2026-09-26
スター数
4,611
フォーク数
659
Issue数
419
過去のトレンド履歴
関連リポジトリ
NVIDIA/SkillSpector
NVIDIA/SkillSpectorPython21.9k
大規模AIの学習を劇的に高速化!GPU最適化されたトランスフォーマー訓練ライブラリ — Megatron-LM
NVIDIA/Megatron-LMPython15.4k
Megatron-LMは、ChatGPTのような大規模なAIモデルを効率的に学習させるためのNVIDIA製ライブラリです。複数のGPUを使って巨大なAIモデルを分散して学習することで、従来よりも高速か
AIと自然に会話できる!声もキャラも自由自在なリアルタイム音声対話モデル — personaplex
NVIDIA/personaplexPython8.6k
PersonaPlexは、NVIDIAが開発したリアルタイムの音声対話AIモデルです。人間同士の会話のように、相手が話している途中でも割り込んだり相づちを打ったりできる「全二重通信(電話のように双方向
NVIDIA/auto-ontology
NVIDIA/auto-ontologyPython4.3k
public-apis/public-apis
public-apis/public-apisPython494.2k