品質を評価しない
AgentTraceはすべてのスパンを実行グラフにまとめ、AI Evalsが正確性、根拠性、安全性を評価します。
作業の単位が異なる
AgentTraceはすべてのモデル呼び出し、ツール呼び出し、ターンをセッションにグループ化し、会話全体での振る舞いの変化や劣化を確認できるようにします。
観測は受動的
AgentTraceのランタイムレイヤーがこのループを閉じます。調査された失敗はすべて、次のリリースのための永続的なリグレッションゲートになります。
エージェントは、ツール呼び出し、LLM呼び出し、検索のための共通の語彙であるHarnessセマンティックコンベンションを使ってOpenTelemetryスパンを発行します。データは既存のHarnessデータプラットフォームを通じて流れ込むため、新しいインフラストラクチャは不要です。
単一のLLM呼び出し。 モデル、プロンプトトークン、生成トークン、temperature値。
ツールまたは関数呼び出し。 ツール名、引数、結果。
ベクトル検索またはドキュメント検索。 クエリ、結果数、ソース。
エージェント / カスタムステップ。 トップレベルの呼び出し、オーケストレーションステップ、ユーザー定義のステップ。
すべての失敗がテストになる
このループが本番インシデントをリリースゲートに変えます
調査する。 任意の実行の完全なスパンツリー: すべてのステップの入力、出力、レイテンシ、トークン、コスト。
注釈を付ける。 品質ラベル(Correct、Incorrect、Borderline)と自由記述の理由付け。タクソノミーはチームごとにカスタマイズ可能です。
データセットへエクスポート。 本番環境で発生した失敗をワンクリックで評価用の正解事例(ゴールデンケース)に登録し、次のCIリリースの品質ゲートとして活用できます。
AI EvalsとAgent DLCはエージェントを個別に追跡するのではなく、AgentTraceが既に見ているものの上に直接構築されます。すべての評価スコアは、それを生成した実行に直接リンクされます。
エージェントはオープンソースのharness-sdkを通じて、標準のOpenTelemetryスパンを出力します。OpenAI、Anthropic、LangChain、HTTPによる直接連携に対応し、独自フォーマットを採用する必要はありません。
既存のゲートウェイ、Kafka、クエリサービスなど、すでに持っているHarnessデータプラットフォーム上で動作します。新たにプロビジョニングや運用する必要はありません。
すべてのスパンには親IDが含まれ、ユーザーのクエリから推論、検索、応答までの完全な因果関係チェーンを再構築します。
すべてのトレースデータは、query-service経由でHQLでクエリ可能な大容量のカラム型分析ストアに保存されます。HQLを発行できるモジュールであれば、エージェントのテレメトリにアクセスできます。
認証、RBAC、スコープ解決は、パイプラインを既に保護しているのと同じガバナンスであるNG Managerから引き継がれます。
Score.trace_idは、すべての評価スコアをそれを生成したトレースに結びつけるジョインキーです。Agent DLC全体で1つのデータモデルを共有します。
両者は同じシステムの2つの側面です。AgentTraceは何が起きたか、つまり実行グラフを捉えます。AI Evalsはそれが良かったかどうか、つまり品質スコアを判定します。Score.trace_idは、すべての評価スコアをそれを生成したトレースに結びつけるジョインキーであり、本番メトリクスとオフライン評価が1つの画面に表示されます。
実行方法によって異なります。harness/aiコンテナは、計装コードなしで自動的にOTelスパンを発行します。カスタムエージェントは、OpenAI、Anthropic、LangChain、生のHTTPをネイティブにサポートするAgentTrace SDKを使用できます。OTel互換のエージェントであれば、OTLPエンドポイントに直接スパンを送信することもできます。
トレース、スパン、セッション、評価スコアは、大容量のカラム型分析ストアに保存されます。人間による注釈はPostgresに保存され、trace_idでトレースにリンクされます。トレースは通常、エージェントの実行から約15秒以内に分析ストアに到達します。
はい、収集層と評価層はApache 2.0のもとでオープンソース化されています。harness-sdk(github.com/harness/otel-python-sdk)はOpenAI、Anthropic、LiteLLMを自動計装し、標準のOTLPを任意のバックエンドにエクスポートします。harness-evals(github.com/harness/harness-evals)は正確性、根拠性、安全性、トラジェクトリ、パフォーマンスを評価し、pytestを通じてCIをゲートします。Harness上では、プラットフォームがこの2つを統合し、トレースビューア、人間による注釈、Export to Dataset、分析機能を追加しています。