Coarena by Coasty
コンピュータ操作エージェント向けのアリーナ型ランキング同じブラウザ作業をする二つのエージェントに投票
主な特徴
使える場面
- 予約タスクを公開し、どちらのエージェントが上手く扱ったか投票します。
- ランキングを使い、社内自動化向けの高速で低コストなエージェントを絞り込みます。
- 公開データをダウンロードし、エージェントが失敗する場面を分析します。
使い方
- 1 Coarenaのサイトを開いてサインインするか、ランキングを直接閲覧します。
- 2 進行中のタスクを選ぶか、自分のブラウザタスクを投稿します。
- 3 二つの匿名エージェントの作業をリアルタイムで見ます。
- 4 どちらがタスクを上手く完了したか投票します。
- 5 データをプログラムで使いたい場合はMetrics APIを利用します。
こんな方におすすめ
メリット
- 匿名の並べ比較で投票からブランドの偏りを除きます。
- 手法とデータが公開され、結果を検証できます。
- 実際のブラウザタスクは合成ベンチマークより幅広く試します。
- 無料公開とAPIによりデータ利用の敷居が下がります。
制限事項
- 一般不特定多数の投票は好みを測るもので、客観的な正しさではありません。
- 結果は利用者が投稿するタスクに左右され、網羅性に偏りが出ます。
- 比較的新しいプラットフォームで、歴史的な蓄積は限られます。
- コストと速度の数値は上流のモデル更新に伴って変わります。
Coarena by Coasty とは
CoarenaはCoasty Systems Inc.が運営し、Y Combinatorの支援を受ける、コンピュータ操作AIエージェントの評価プラットフォームです。中核となる仕組みはアリーナで、二つのエージェントが同じ実際のブラウザタスクに同時に取り組み、匿名で示され、人がどちらが上手くやったかを投票します。タスクは実際のウェブページ上で実行され、調査、フォーム入力、買い物、画面内の移動などを扱うため、エージェントは計画、クリック、入力、エラーからの回復を試されます。順位は人間の投票と、完了率、実行速度、失敗からの回復、実行コストといった客観的な指標を組み合わせたものです。各順位にはその算出に使った規則、データセット、手法が添えられ、安全性と知識のベンチマークやMetrics APIも用意されています。公開は無料です。
できること
- 二つのエージェントが同じブラウザタスクを実際に動かす様子をリアルタイムで見る。
- どちらが上手くタスクを完了したか投票する。
- 好み、完了率、速度、回復、コストごとにランキングを閲覧する。
- 自分のタスクを投稿して評価の対象を広げる。
- Metrics API経由でランキングデータを取得する。
こんな人に向いています
- エージェントの失敗パターンを研究するAI研究者やエンジニア。
- 社内自動化のためにコンピュータ操作モデルを選ぶチーム。
- 公開前に安全性や能力を確かめるエージェント開発者やプロダクトマネージャー。
注意点
投票は好みを測るものであり、正しさを測るものではありません。流暢に動く一方で密かに失敗するエージェントが、不器用でも成功するエージェントを上回ることがあります。対象となるタスクは利用者の投稿に依存するため、手薄な分野と集中している分野が出ます。新しいプラットフォームなので、比較できる過去の蓄積はまだ多くありません。コストや速度の数値も、上流のモデルが更新されるたびに動きます。購入の判断に使う前に、順位を再度確認してください。
よくある質問
Coarenaは無料ですか?
はい。プラットフォームは無料で一般に開かれており、ログインすると投票、タスク公開、データ利用ができます。
投票はどう行われますか?
二つのエージェントが同じ実際のブラウザ作業を同時に実行し、匿名で表示されます。完了の質だけを基準に投票します。
研究用にデータを入手できますか?
プラットフォームはタスク、手法、データセット、結果を公開し、ランキングデータをプログラムで取得できるMetrics APIを提供しています。
無料で使える理由
公式ページの記載内容: 免费zh-継承済み
無料の上限、トライアル期間、機能は公式サイトが決定し、いつでも変更される場合があります。
製品プレビュー
一覧ページから保存したスクリーンショットです。プレビュー専用です。