For the complete documentation index, see llms.txt. A Markdown version of this page is available by requesting this URL with the header "Accept: text/markdown".

AgentTraceによるAIエージェントのオブザーバビリティ

AIエージェントはクラッシュするのではなく、もっともらしく聞こえる間違った答えを返します。AgentTraceは、すべてのLLM呼び出し、ツール呼び出し、意思決定を実行グラフとして監視します。これはAgent DLCのオブザーバビリティステージです。

オブザーバビリティのギャップ

標準的なツールではこれを捉えられない

品質を評価しない

AgentTraceはすべてのスパンを実行グラフにまとめ、AI Evalsが正確性、根拠性、安全性を評価します。

作業の単位が異なる

AgentTraceはすべてのモデル呼び出し、ツール呼び出し、ターンをセッションにグループ化し、会話全体での振る舞いの変化や劣化を確認できるようにします。

観測は受動的

AgentTraceのランタイムレイヤーがこのループを閉じます。調査された失敗はすべて、次のリリースのための永続的なリグレッションゲートになります。

~15秒トレース取り込みのレイテンシ
ゼロ新規インフラストラクチャが不要
6キャプチャされるスパンタイプ数
ワンクリック評価データセットへのエクスポート
仕組み

1つのパイプライン、4つのステージ

エージェントは、ツール呼び出し、LLM呼び出し、検索のための共通の語彙であるHarnessセマンティックコンベンションを使ってOpenTelemetryスパンを発行します。データは既存のHarnessデータプラットフォームを通じて流れ込むため、新しいインフラストラクチャは不要です。

キャプチャ対象

すべての実行は型付きスパンのツリー

各スパンには入力、出力、レイテンシ、開始時刻、ツリーを形成する親スパンIDが含まれます。LLMスパンにはさらに、トークン数とモデルの属性情報が含まれます。

単一のLLM呼び出し。 モデル、プロンプトトークン、生成トークン、temperature値。

ツールまたは関数呼び出し。 ツール名、引数、結果。

ベクトル検索またはドキュメント検索。 クエリ、結果数、ソース。

エージェント / カスタムステップ。 トップレベルの呼び出し、オーケストレーションステップ、ユーザー定義のステップ。

本番環境のエージェント
harness-sdk が実行を記録
分析基盤に実行データを記録
数秒以内
エンジニアが問題のある実行を発見
ハルシネーション · 誤ったツール · 遅い経路
次のリリースを展開

すべての失敗がテストになる
このループが本番インシデントをリリースゲートに変えます

データセットへエクスポート(ワンクリック)
次のリリースで CI ゲート
評価に失敗 → デプロイをブロック
評価スイート
harness-evals
評価用の正解事例
input · output · context · trace_id
調査、注釈付け、エクスポート

すべての本番障害がリグレッションゲートになり得る

トレースビューアは監視ではなく調査のための機能です。問題が発生した際に使用し、トレースに品質ラベルと判断理由を付けて、問題のある実行をワンクリックで評価用の正解事例(ゴールデンケース)としてエクスポートできます。入出力の組み合わせとコンテキストも保持されます。

調査する。 任意の実行の完全なスパンツリー: すべてのステップの入力、出力、レイテンシ、トークン、コスト。

注釈を付ける。 品質ラベル(Correct、Incorrect、Borderline)と自由記述の理由付け。タクソノミーはチームごとにカスタマイズ可能です。

データセットへエクスポート。 本番環境で発生した失敗をワンクリックで評価用の正解事例(ゴールデンケース)に登録し、次のCIリリースの品質ゲートとして活用できます。

Agent DLCを支える基盤

1つのトレースレイヤー、すべてのAIプロダクト

AI EvalsとAgent DLCはエージェントを個別に追跡するのではなく、AgentTraceが既に見ているものの上に直接構築されます。すべての評価スコアは、それを生成した実行に直接リンクされます。

OTelネイティブの取り込み

エージェントはオープンソースのharness-sdkを通じて、標準のOpenTelemetryスパンを出力します。OpenAI、Anthropic、LangChain、HTTPによる直接連携に対応し、独自フォーマットを採用する必要はありません。

新規インフラストラクチャ不要

既存のゲートウェイ、Kafka、クエリサービスなど、すでに持っているHarnessデータプラットフォーム上で動作します。新たにプロビジョニングや運用する必要はありません。

完全な実行グラフ

開発中

すべてのスパンには親IDが含まれ、ユーザーのクエリから推論、検索、応答までの完全な因果関係チェーンを再構築します。

HQLでクエリ可能

すべてのトレースデータは、query-service経由でHQLでクエリ可能な大容量のカラム型分析ストアに保存されます。HQLを発行できるモジュールであれば、エージェントのテレメトリにアクセスできます。

RBACとテナントスコープ

認証、RBAC、スコープ解決は、パイプラインを既に保護しているのと同じガバナンスであるNG Managerから引き継がれます。

AI Evalsと共有されるモデル

Score.trace_idは、すべての評価スコアをそれを生成したトレースに結びつけるジョインキーです。Agent DLC全体で1つのデータモデルを共有します。

よくある質問

AgentTraceに関するよくある質問

両者は同じシステムの2つの側面です。AgentTraceは何が起きたか、つまり実行グラフを捉えます。AI Evalsはそれが良かったかどうか、つまり品質スコアを判定します。Score.trace_idは、すべての評価スコアをそれを生成したトレースに結びつけるジョインキーであり、本番メトリクスとオフライン評価が1つの画面に表示されます。

実行方法によって異なります。harness/aiコンテナは、計装コードなしで自動的にOTelスパンを発行します。カスタムエージェントは、OpenAI、Anthropic、LangChain、生のHTTPをネイティブにサポートするAgentTrace SDKを使用できます。OTel互換のエージェントであれば、OTLPエンドポイントに直接スパンを送信することもできます。

トレース、スパン、セッション、評価スコアは、大容量のカラム型分析ストアに保存されます。人間による注釈はPostgresに保存され、trace_idでトレースにリンクされます。トレースは通常、エージェントの実行から約15秒以内に分析ストアに到達します。

はい、収集層と評価層はApache 2.0のもとでオープンソース化されています。harness-sdk(github.com/harness/otel-python-sdk)はOpenAI、Anthropic、LiteLLMを自動計装し、標準のOTLPを任意のバックエンドにエクスポートします。harness-evals(github.com/harness/harness-evals)は正確性、根拠性、安全性、トラジェクトリ、パフォーマンスを評価し、pytestを通じてCIをゲートします。Harness上では、プラットフォームがこの2つを統合し、トレースビューア、人間による注釈、Export to Dataset、分析機能を追加しています。

はじめる

AIエージェントが実際に何をしたかを確認

新規インフラストラクチャなしで、今すぐ実行グラフのキャプチャを始めましょう。