EvalCore
AIの挙動に対するスナップショットテストAIの挙動をオフラインで記録し、CIで再生。無料
主な特徴
使える場面
- チャットボットがレスポンスを記録し、CIが更新後に再生して品質を確認する
- レコメンドシステムが出力を記録し、データや環境をまたいで安定性を検証する
- カスタマーサービスボットをテストし、更新で回答が変わらないようにする
使い方
- 1 対象アプリ、データセット、評価基準を書いたYAMLのevalファイルを作成する
- 2 runコマンドで実際のモデルを一度実行し、リクエストとレスポンスをローカルのSQLiteファイルに記録する
- 3 記録したSQLiteファイルをバージョン管理にコミットしてCIに載せる
- 4 コード変更のたびにCIでcache replayコマンドを使い、記録したケースを再生する
こんな方におすすめ
メリット
- CIでの利用は無料で、再生にAPIキーやネットワークは不要
- 決定的な結果によりテストが安定し、再現しやすくなる
- どの言語のアプリにも対応し、カスタム採点も可能
制限事項
- 記録済みのケースしかテストしないので、まだ捉えていない新しい不具合は見つからない
- アプリの変化に合わせてevalファイルと記録済みベースラインを維持する必要がある
- 設定にはYAMLとCIの知識が前提で、学習コストがかかる
EvalCore とは
EvalCoreは、AIの挙動に対するスナップショットテストツールです。目的は、ユーザーが気づく前にAIの性能低下を捉えることにあります。LLMアプリケーションやエージェントの挙動を詳細に記録し、実行ごとのリクエストとレスポンスを保存して、正確なベースラインを作ります。そしてコードが変わるたびに、その記録したケースをCI環境で再実行し、AIが予期しない形で変わっていないか確認します。オフラインで動作するのでネットワークへの依存がなく、決定的なので同じ入力は常に同じ結果を返します。APIキーが不要で不安定な評価基準も避けられるため、テストは信頼でき、低コストで実行できます。CIでの利用は無料です。
できること
- LLMアプリやエージェントのリクエストとレスポンスをローカルのスナップショットとして記録する
- 記録したケースをCIで再生し、編集後の予期しない挙動の変化を検出する
- APIキーや不安定な評価基準なしで、オフラインかつ決定的にテストを実行する
- 回答が話題に沿っているか事実かなど、どの言語でもカスタム採点を設定する
こんな人に向いています
- コード変更がモデルの挙動にどう影響するかを見たいAI開発者
- AIの性能を時系列で記録・再現したいデータサイエンティスト
- 共同作業に使える共通の信頼できるテスト基盤が必要なAIチーム
- CIでLLMアプリやエージェントを動かし、安定した反復チェックを求める人
注意点
スナップショットテストは、すでに記録したケースとの変化しか検出できません。新しい不具合のパターンは、自分で追加しない限り見つかりません。アプリが成長するに合わせてevalファイルと記録済みベースラインを維持しないと、テストが現実からずれていきます。設定にはYAMLとCIの作業にある程度慣れている必要があり、学習コストがかかります。カスタム採点も誤解を招く結果を避けるために慎重な設計が必要です。
よくある質問
CIでは無料ですか?
はい、CIでの利用は無料です。
APIキーは必要ですか?
いいえ。再生は記録済みレスポンスからオフラインで行われるため、APIキーは不要です。
どの言語に対応していますか?
どのプログラミング言語で書かれたアプリにも対応しています。
何をテストしますか?
AIの挙動をスナップショットとして記録し、再生して予期しない変化を検出します。
無料で使える理由
公式ページの記載内容: 無料で利用可能
無料の上限、トライアル期間、機能は公式サイトが決定し、いつでも変更される場合があります。
製品プレビュー
一覧ページから保存したスクリーンショットです。プレビュー専用です。