画面も会話もすべて記憶するAI「第2の脳」— 30万人が使うオープンソース — omi

アーキテクチャ

omiは複数のコンポーネントで構成されるマルチデバイス対応システムです。

バックエンド構成

• REST API / WebSocket: Listen（REST）とPusher（WS）による通信
• 音声処理: VAD（音声区間検出）とDiarizer（話者分離）はGPU上で動作
• 音声認識（STT）: Deepgramを利用
• データベース: Google Firestore
• キャッシュ: Redis
• AI処理: LLM（大規模言語モデル）による要約・チャット

通信方式

• ウェアラブルデバイス → アプリ: BLE（Bluetooth Low Energy）
• デスクトップ/モバイル → バックエンド: HTTPS / WebSocket

対応プラットフォーム

• macOS: 14以上（Swift/SwiftUI + Rustバックエンド）
• iOS: App Store公開済み
• Android: Google Play公開済み
• ブラウザ: Webアプリあり（app.omi.me）

ハードウェア

• Omi Wearable: nRFベースの小型ウェアラブルデバイス、24時間以上の連続キャプチャ対応
• Omi Glass Dev Kit: ESP32-S3搭載、カメラ＋オーディオ対応のメガネ型デバイス
• ハードウェア設計はオープンソースで公開されており、自作も可能

SDK・連携

• Python SDK、Swift SDK、React Native SDKを提供
• MCP Server（Model Context Protocol）統合に対応
• サードパーティアプリ開発が可能（GitHub連携、Slack連携などのサンプルあり）
• オーディオストリーミングアプリやカスタムチャットツールの構築に対応

主要機能

• リアルタイム音声文字起こし
• 画面キャプチャと記録
• 自動要約・アクションアイテム生成
• 記録内容全体を対象にしたAIチャット
• 話者分離（誰が何を話したか識別）
• AIペルソナのカスタマイズ

ライセンス

MITライセンス — 商用利用を含む自由な利用が可能

macOS クイックスタート（最速）

git clone https://github.com/BasedHardware/omi.git && cd omi/desktop && ./run.sh --yolo

クラウドバックエンドに接続してmacOSアプリをビルド・起動します。環境変数や認証情報の設定は不要です。

必要な環境: macOS 14以上、Xcode、Node.js

フルインストール（ローカル開発用）

xcode-select --install
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
git clone https://github.com/BasedHardware/omi.git
cd omi/desktop
cp Backend-Rust/.env.example Backend-Rust/.env
./run.sh

モバイルアプリ

cd app && bash setup.sh ios    # または: bash setup.sh android

ブラウザ版は https://app.omi.me から試用可能です。