主な特徴
使える場面
- Mac上でコーディングエージェントを動かす。
- 一つのサーバーで複数の種類のモデルを提供する。
- 互換APIを使って既存ツールをつなぐ。
使い方
- 1 Apple Silicon搭載MacにoMLXをインストールします。
- 2 必要なモデルを読み込みます。
- 3 ツールの接続先をローカルAPIに向けます。
- 4 リクエストを送り、応答時間を確認します。
- 5 現在の設定はプロジェクトの資料で確認します。
こんな方におすすめ
メリット
- 初回応答が数十秒から5秒未満に短縮されます。
- OpenAIとAnthropicのツールと互換性があります。
- Apache 2.0ライセンスで、ページには料金が記載されていません。
制限事項
- Apple Silicon搭載のmacOSでしか動きません。
- 料金が記載されていないため、条件は自分で確認する必要があります。
- 速度の改善幅はハードウェアと選ぶモデルに左右されます。
- ローカルサーバーやAPIの設定に理解が必要です。
Omlx AI とは
Omlx AIは、oMLXとして掲載されているApple Silicon搭載Mac向けの推論サーバーです。MLXを基に作られ、ページ単位で管理するSSD上のKVキャッシュによって、エージェントの初回応答を30から90秒から5秒未満へ短縮します。文脈を切り替えたときにキャッシュが無効になり再計算される問題を避けられる点も特徴です。連続バッチ処理は同時リクエストの処理能力を最大4.14倍まで高めます。OpenAIとAnthropic互換のAPIを公開しているため、既存ツールを書き換えずにつなげます。LLM、視覚言語モデル、埋め込みモデル、再ランク付けモデルを同時に提供でき、Apache 2.0ライセンスです。ページには料金が記載されていません。
できること
- Mac上で大規模言語モデルをローカルに提供する。
- エージェント作業の初回応答時間を短くする。
- 一つのサーバーで複数の種類のモデルを動かす。
- OpenAI互換APIを通して既存ツールをつなぐ。
こんな人に向いています
- Macでローカルモデルを動かしたい人。
- コーディングエージェントの作業を改善したい開発者。
- 互換性のあるローカルAPIを必要とするチーム。
注意点
Apple Silicon搭載のmacOSで動くため、WindowsやLinuxの機器は対象外です。ページに料金が記載されていないので、費用や利用条件は未確認として扱い、プロジェクトの現在の規約を確認してください。速度の改善幅は機器、SSDの空き容量、読み込むモデルによって変わります。キャッシュはSSD上に置かれるため、容量がほぼ一杯だと利点が小さくなります。設定にはローカルサーバーやAPIエンドポイントへの理解が必要です。作業を移す前に互換性を確認し、自分の機器で応答時間を測ってください。モデルを一度に読み込むとディスクとメモリを多く使うため、必要なものから順に追加し、更新にも追従してください。
よくある質問
oMLXとは何ですか。
Apple Silicon搭載Mac向けにMLXで作られた、macOSネイティブの推論サーバーです。
どのくらい速くなりますか。
掲載内容では、連続バッチ処理で同時リクエストが最大4.14倍速くなり、初回応答が30から90秒から5秒未満になります。
どのAPIに対応しますか。
OpenAIとAnthropic互換のAPIを提供します。
無料で使える理由
公式ページの記載内容: 免费使用免费zh-バックフィル
無料の上限、トライアル期間、機能は公式サイトが決定し、いつでも変更される場合があります。
製品プレビュー
一覧ページから保存したスクリーンショットです。プレビュー専用です。