For the complete documentation index, see llms.txt. A Markdown version of this page is available by requesting this URL with the header "Accept: text/markdown".

Experimentation

リリースが期待どおりに機能しているかを把握

フィーチャーフラグ、設定、AI設定をすぐに実験に利用できます。UIの変更、各種パラメーター、AIの動作への影響を、同じ統計手法で測定できます。

Experimentationを選ぶ理由

すべてのリリースを計測可能なインパクトに変える。

フィーチャーレベルでインパクトを計測し、その統計を信頼し、データがどこにあっても実験を実行します。

計測

メトリクスの変化を、ユーザーに適用された具体的なフィーチャーフラグ、設定、AI設定に紐付けます。

分析

厳密な統計手法により、ノイズではなく有効な結果に基づいて行動できます。

スケール

同じ統計エンジンで、ガバナンスされプライバシーファーストなクラウドまたはウェアハウスで実験を実行します。

Experiment Results · checkout_flow_v2

コンバージョン率↑ +8.2% lift
Day 1Day 14
p-value
p < 0.05
statistically significant
コンバージョンリフト
+8.2%
vs control group
MetricImpactSig.
Conversion rate+8.2%
✓
Revenue per user+5.3%
✓
Cart abandonment-14%
✓
計測

すべてのリリースのインパクトをフィーチャーレベルで計測。

Harnessはメトリクスの変化を、ユーザーに適用された具体的なフィーチャーフラグ、設定、AI設定に紐付けます。各実験の結果を、その結果につながった具体的な変更と関連付けて把握できます。

フラグ、設定、AIの動作で実験。 フィーチャーフラグ、設定、AI設定をそのまま実験に利用できます。別のツールや再デプロイなしで、UIの変更、運用パラメーター、プロンプト、モデルの選択、temperature値などを検証できます。

特許取得済みの露出レベルアトリビューション。 メトリクスの変化を、ユーザーに適用された具体的なフィーチャーフラグ、設定、AI設定に紐付けます。一般的な分析ツールはページやセッション単位で評価しますが、結果を生んだ個々の変更までは特定できません。

すべての変更にガードレールメトリクス。 劣化してはならないメトリクスを定義します。二次的なメトリクスが間違った方向に動いた場合、自動的にアラートを受け取ります。

分析

信頼できる結果を提供する統計的厳密さ。

実験結果の信頼性は、その統計分析の確かさに左右されます。Harnessは厳密な統計手法を用い、ノイズではなく有効な結果に基づく意思決定を支援します。

シーケンシャルテスト。 結果を継続的に監視し、固定の終了日を待たずに、より早く有効な結論に到達します。

SRM検出。 サンプル比率の不一致が結果を損なう前に自動的に検出します。

任意の属性で詳細分析。 国、デバイス、コホート、その他のカスタム属性ごとに結果を分析し、全体集計では見逃しやすい傾向を発見します。

スケール

クラウドまたはあなたのウェアハウスで実験を実行。

Harnessは連携して機能する2つの実験モードをサポートしています。高速なフラグベースのテストのためのクラウド実験。あなた自身のデータに対するガバナンスされた、プライバシーファーストな分析のためのウェアハウスネイティブ実験。

チーム間で共有される統合メトリクスライブラリ。 メトリクスを一度定義し、すべての実験で再利用します。断片化した定義も、ツール間の調整も不要です。

ウェアハウスネイティブ実験。 Snowflake、Redshift、BigQuery、Databricksなど、データが保存されている環境で直接クエリを実行できます。ETLも個人識別情報(PII)の外部エクスポートも不要で、メトリクスを特定ベンダーに依存させません。

あなた自身のデータからメトリクスを定義。 すでにガバナンスルールに従っているウェアハウステーブルを使用します。ベンダーテンプレートは不要です。結果はあなたのインフラストラクチャ内で計算され、スケジュールまたはオンデマンドで更新されます。

すべての結果の背後にあるSQLを検査。 結果の算出方法をすべて確認できます。ブラックボックス化やベンダー側の不透明さはありません。

お客様の声

チームはHarnessでより速くフィーチャーをリリースしています

12x

リリース頻度の増加

64+

本番環境で同時にテストされているアプリのバージョン数

“Harnessのおかげで、製品の変更にユーザーがどう反応するかを詳しく理解できるようになりました。ユーザーにとって最適な変更は何か、創作活動をどう支援できるかを、今では簡単に把握できます。”

— Jean Steiner, Ph.D., データサイエンス担当VP, Skillshare

Skillshare の導入事例を読む
よくある質問

よくある質問

Cloud Experimentationは、任意のフィーチャーフラグを即座に管理された実験に変換できるようにします。メトリクスを定義すると、Harnessが実験グループへの割り当てと分析を行い、別個のA/Bテストインフラストラクチャを立ち上げることなく、統計的に厳密な結果を得られます。

Harnessは、シーケンシャルテストと固定期間テストの両方をサポートしています。シーケンシャルテストでは、有意性が検出された時点で意思決定に到達できるため、迅速な反復に最適です。固定期間テストは、収益やコンバージョンの実験のようなハイステークスな意思決定に、より厳密な統計的厳密さを適用します。

Harnessの特許取得済みアトリビューションエンジンは、メトリクスの変化をそれを引き起こした正確なフィーチャーフラグに自動的に接続します。すべてのロールアウトにわたってリアルタイムでメトリクスを追跡し、Segment、mParticle、Sentry、Google Analyticsなどの分析プロバイダーと統合するため、結果を手動で相関付ける必要はありません。

はい。アクティブなフィーチャーフラグは、数クリックで実験に変換できます。ターゲットメトリクスを選択し、実験ウィンドウを定義すれば、Harnessが自動的に割り当て情報とメトリクスデータの追跡を開始します。

Harnessは、データが蓄積されるにつれて結果ダッシュボードに統計的有意性を表示します。シーケンシャルテストでは、しきい値を超えた時点で意思決定が得られます。固定期間テストでは、所定のサンプル期間の終了時に完全な信頼区間とともに結果が表示されます。

Harness Experimentationを始める

すべてのプロダクトおよびエンジニアリングチームが、ボトルネックなしに実験を実行できるようにします。