AI Evals
Agent Development Lifecycle(Agent DLC)に組み込まれた、AIエージェントのための品質ゲート。CI/CDパイプライン内ですべての応答をスコアリングし、すべてのリリースに品質ゲートを適用します。
検知されない失敗
AI Evalsはすべての応答を忠実性、関連性、タスク完了度でスコアリングするため、検知されにくい失敗も品質ゲートで不合格として表面化します。
非決定的な出力
LLM-as-judge とセマンティックスコアリングが品質を段階的に評価し、プロンプトやモデルのバリエーションを並べて比較できます。
品質を示すシグナルがない
パイプラインに標準統合された品質ゲートが、スコアが閾値を下回るとデプロイをブロック。品質をビルドステータスとして扱えるようになります。
オフライン評価(デプロイ前)。リリース前にゴールデンデータセットに対してエージェントを実行。すべての応答をスコアリングし、プロンプトやモデルのバリエーションを比較し、スコアが閾値を下回ればデプロイをブロックします。
オンライン評価(本番環境)。同じメトリクスで実際のユーザートラフィックをスコアリングし、実際の失敗をデータセットに戻すことで、サイクルごとに品質が向上します。
1つのシステムを、信頼できる唯一の情報源に。デプロイ前にテストするスコアリングロジックは、本番トラフィックに対して実行されるロジックと完全に同じです。ギャップはなく、一貫した品質基準があります。
すぐに始められます。ガイド付きオンボーディングフロー、よくあるパターン向けの組み込みテンプレート、1つの説明文から AI が合成するデータセットを提供します。
Target、Dataset、Metrics、Thresholdという4つの構成要素でEvalsを構成します。EvalsをSuitesにまとめ、Suitesがパイプラインの品質ゲートとして機能します。
評価スイートはAgent DLC内でBuild、Test、Deployと並ぶHarnessのステップとして実行されます。回帰が検出されるとビルドが失敗し、結果がTestsタブに表示されます。
忠実性、関連性、トーン、タスク完了度を、LLM-as-judge、決定論的チェック、セマンティック類似度を並行して使ってスコアリングします。
ステップ、ツール呼び出し、最終結果のレベルでマルチステップの挙動を評価します。エージェントが答えたかどうかだけでなく、推論できたかどうかを評価します。
プロンプトインジェクションの検出とポリシー準拠のスコアリングが、すべてのスイートに組み込まれています。
任意の2つの実行をアイテムごとの差分で比較し、本番環境に到達する前の PR や CI の段階で回帰を検知します。
サンプリングしたライブトラフィックをスコアリングしてドリフトを検知し、本番環境のトレースをワンクリックでデータセットのケースとして登録します。
プロンプト、エージェント、MCPツール、スキルを中央レジストリでバージョン管理できます。コードをデプロイせずに、任意のバージョンへロールバックまたはプロモートできます。
Apache 2.0 の評価 SDK をベースに構築されており、任意の CI システム、ノートブック、テストスイートで実行できるため、ロックインされません。
50以上のメトリクスで毎回の実行をスコアリングし、出力を目視確認する代わりに、再現可能な品質シグナルを得られます。
プロンプトのバリエーションやモデルバージョンを並べて比較し、スイートのスコアから失敗した項目へワンクリックで掘り下げられます。
1つの説明文からデータセット全体を合成できるため、数日ではなく数分でスコアリングを始められます。
AI evalは、AIエージェントやLLMアプリケーションの出力を、定義した品質基準に照らしてスコアリングします。合格・不合格の二値を返す従来のユニットテストとは異なり、LLM-as-judgeによるスコアリング、決定論的なコードチェック、セマンティック類似度を組み合わせ、ソースへの忠実性、関連性、トーン、タスク完了度、安全性などを段階的に評価します。Harness AI Evalsは、それらのスコアを品質ゲートとして利用し、結果が閾値を下回った場合にリリースをブロックできます。
オフライン評価はリリース前に実行します。CI/CDパイプライン内で、ゴールデンデータセット(入力と期待される出力やコンテキストを組み合わせたテストケース)に対してエージェントをスコアリングし、スコアが低下すればデプロイをブロックします。オンライン評価は本番環境で実行します。同じメトリクスでサンプリングしたライブトラフィックをスコアリングしてドリフトや気づきにくい品質劣化を検知し、実際の失敗をデータセットに取り込めます。どちらのモードも同じメトリクスとデータセットを共有するため、テストする内容と測定する内容にギャップがありません。
ゴールデンデータセットとは、エージェントが受け取る入力と、期待される出力や応答に使うべきコンテキストを組み合わせた、キュレーションされたテストケースの集合です。エージェントが生成すべき、あるいは忠実であるべき既知の正解、つまりグラウンドトゥルースです。データセットはバージョン管理され、ドメインごとにグループ化され、実際の本番環境での失敗を取り込むことで時間とともに増えていきます。何百件も手作業で書く代わりに、1つの自然言語の説明文からデータセット全体を合成することもできます。
LLM-as-judge は、言語モデルを使って応答をルーブリックに対して評価します。例えば、回答が取得したコンテキストに忠実であるか(忠実性)、実際にタスクを完了したかを判定します。これは、完全一致のアサーションでは確認できない品質をスコアリングする方法です。Harness AI Evals は LLM-as-judge と決定論的チェック、セマンティック類似度を組み合わせており、自然言語でカスタムルーブリックを定義したり、Python で独自のスコアリングロジックを書いたりできます。
AI Evalsは、自分でCIに組み込むスクリプトではなく、Build、Test、Deployと並ぶHarnessのネイティブなパイプラインステップとして実行されます。メトリクス、データセット、閾値を評価スイートにまとめ、リリースパイプラインに組み込みます。品質スコアが基準を下回ると、ユニットテストの失敗と同様にビルドが失敗し、アイテムレベルの結果がTestsタブに表示されます。データセット、メトリクス、閾値は、既存のRBAC、OPAガバナンス、監査証跡と同じ仕組みのもと、パイプラインとともに設定として管理されます。
AI EvalsはHarness Agent DLCのTestステージです。Agent DLCは、1つのプラットフォーム上でAIエージェントを構築、テスト、保存、デプロイ、運用、ガバナンスするための開発ライフサイクルです。CI/CDパイプラインの品質ゲートとして使う同じ評価スイートが、Build、Deploy、Operate全体でAgent DLCが利用する品質シグナルを提供するため、エージェントを安全にリリースできるか判断するために複数のツールを突き合わせる必要がありません。
トラジェクトリ評価は、最終的な回答だけでなく、マルチステップで動作するエージェントの挙動をスコアリングします。ステップごとの推論、ツールの使用(正しいツールを正しい引数で呼び出したか)、最終結果を確認します。ツールを呼び出すエージェントやオーケストレーションパイプラインでは、誤ったプロセスを経てももっともらしい回答に到達したり、処理の途中で気づかれないまま失敗したりする可能性があるため、こうした評価が重要です。
いいえ。AI Evals は Apache 2.0 で公開されているオープンソースの評価 SDK をベースに構築されており、スコアリングロジックは任意の CI システム、ノートブック、テストスイートで実行できます。Harness プラットフォームは、その上にネイティブなパイプラインゲート、AI アセットレジストリ、オンライン評価、エンタープライズガバナンスを追加します。
AI Evalsは現在ベータ版で、本番環境でAIエージェントを運用しているデザインパートナーとともに開発を進めています。ベータアクセスをリクエストすると、いち早く利用でき、今後のロードマップに直接フィードバックできます。本番AIユースケースで特に困っていること、現在の状況、優先してほしいツールやプロバイダーについて、ぜひお聞かせください。
本番環境でエージェントを運用しているデザインパートナーとともにAI Evalsを開発しています。いち早く利用し、今後の開発に直接フィードバックできます。