jundot/omlx
jundot/omlxOtherPython
20.0k3回登場
LLM inference server with continuous batching & SSD caching for Apple Silicon — managed from the macOS menu bar
apple-siliconinference-serverllmmacosmlxopenai-api
このトピックのトレンドリポジトリ(3件)
LLM inference server with continuous batching & SSD caching for Apple Silicon — managed from the macOS menu bar
mlx-vlmは、Mac上で画像・音声・動画を理解できるAI(Vision Language Model)を動かしたり、カスタマイズ(ファインチューニング)したりできるツールです。Apple独自のMLXフレームワーク(Apple Silic
Find the local LLM that actually runs and performs best on your hardware. Ranked by real, recency-aware benchmarks, not parameter count. One command, run it instantly.