omni-moderation-latest
OpenAIのマルチモーダル内容審査モデル一つのAPIで有害な文章と画像を確認
主な特徴
使える場面
- 公開前にユーザー投稿の文章を確認する
- アップロード画像に有害な内容がないか確認する
- AI製品の工程に安全の層を追加する
使い方
- 1 OpenAI Moderation APIの文書を読む。
- 2 登録してAPIキーを取得する。
- 3 文章または画像をomni-moderation-latestへ送る。
- 4 返されたカテゴリと確率スコアを確認する。
- 5 自社の審査ルールに合わせて結果を扱う。
こんな方におすすめ
メリット
- 一つのAPIで文章と画像の両方を扱える
- 公開されたレート制限内なら開発者が無料で使える
- 非英語やリソースの少ない言語への対応が広い
制限事項
- 利用区分ごとにレート制限がある
- 自動での分類結果には人の確認が必要
- OpenAIが今後もモデルを提供するかどうかに依存する
omni-moderation-latest とは
omni-moderation-latestは、OpenAIの次世代マルチモーダル内容審査モデルで、GPT-4oを基盤に作られています。文章または画像を入力すると、憎悪表現、暴力、自傷などを含む有害なカテゴリに当てはまる可能性を確認します。サイトでは、とりわけ非英語の内容で精度が改善されたと説明され、開発者がより頑健な審査体制を作る手助けを目的としています。このモデルはレート制限の範囲内で開発者が無料利用できる点が特徴です。
文章向けには、違法な内容と暴力を伴う違法な内容に関する二つの新しいカテゴリが追加されました。非英語の対応は40言語に広がり、クメール語やスワヒリ語のようなリソースの少ない言語では、検出性能が70パーセント改善されたとサイトに記載されています。結果は、内容が各カテゴリに当てはまる可能性を示す調整済みの確率スコアとして返ります。利用区分ごとにレート制限があるため、実際の運用では投稿量を見積もっておく必要があります。
できること
- 一回の呼び出しで文章と画像の有害性を分類する。
- 新しい違法内容カテゴリを文章へ適用する。
- 40言語の範囲で非英語の投稿を確認する。
- 確率スコアを使って自社のしきい値を調整する。
- AI製品の工程に安全の層を組み込む。
こんな人に向いています
- ユーザーが投稿するサービスを作る開発者。
- 安全の層が必要なAI製品を提供するチーム。
- 多言語の投稿を大量に扱う運用担当者。
- 公開前の確認作業を一定の基準で進めたい組織。
注意点
レート制限は利用区分ごとに異なり、想定より投稿が多いと追加の調整が必要になります。このモデルはカテゴリと確率スコアを返すだけで、運用方針の最終決定は利用者側の仕事です。しきい値を厳しくしすぎると、問題のない投稿まで弾いてユーザーをいらだたせる場合があります。自動審査はあくまで一つの段階として扱い、境界にある事例や異議申し立てには人の確認を必ず残してください。提供されるモデルであるため、利用可能性や挙動が変わることがあります。テストした版を固定し、更新時には再確認してください。
よくある質問
omni-moderation-latestとは何ですか。
GPT-4oを基盤に作られた次世代のマルチモーダル内容審査モデルで、有害な文章と画像を分類します。
費用はかかりますか。
サイトでは、レート制限の範囲内で開発者が無料利用できると説明されています。
何言語に対応していますか。
サイトでは40言語に対応し、リソースの少ない言語での性能が改善されたと説明されています。
人による審査の代わりになりますか。
なりません。カテゴリと確率スコアを返すので、自社の方針と人の確認と組み合わせて使います。
無料で使える理由
公式ページの記載内容: 免费zh-継承済み
無料の上限、トライアル期間、機能は公式サイトが決定し、いつでも変更される場合があります。
製品プレビュー
一覧ページから保存したスクリーンショットです。プレビュー専用です。