フィーチャーレベルでインパクトを計測し、その統計を信頼し、データがどこにあっても実験を実行します。
メトリクスの変化を、ユーザーに適用された具体的なフィーチャーフラグ、設定、AI設定に紐付けます。
厳密な統計手法により、ノイズではなく有効な結果に基づいて行動できます。
同じ統計エンジンで、ガバナンスされプライバシーファーストなクラウドまたはウェアハウスで実験を実行します。
Experiment Results · checkout_flow_v2
フラグ、設定、AIの動作で実験。 フィーチャーフラグ、設定、AI設定をそのまま実験に利用できます。別のツールや再デプロイなしで、UIの変更、運用パラメーター、プロンプト、モデルの選択、temperature値などを検証できます。
特許取得済みの露出レベルアトリビューション。 メトリクスの変化を、ユーザーに適用された具体的なフィーチャーフラグ、設定、AI設定に紐付けます。一般的な分析ツールはページやセッション単位で評価しますが、結果を生んだ個々の変更までは特定できません。
すべての変更にガードレールメトリクス。 劣化してはならないメトリクスを定義します。二次的なメトリクスが間違った方向に動いた場合、自動的にアラートを受け取ります。
シーケンシャルテスト。 結果を継続的に監視し、固定の終了日を待たずに、より早く有効な結論に到達します。
SRM検出。 サンプル比率の不一致が結果を損なう前に自動的に検出します。
任意の属性で詳細分析。 国、デバイス、コホート、その他のカスタム属性ごとに結果を分析し、全体集計では見逃しやすい傾向を発見します。
チーム間で共有される統合メトリクスライブラリ。 メトリクスを一度定義し、すべての実験で再利用します。断片化した定義も、ツール間の調整も不要です。
ウェアハウスネイティブ実験。 Snowflake、Redshift、BigQuery、Databricksなど、データが保存されている環境で直接クエリを実行できます。ETLも個人識別情報(PII)の外部エクスポートも不要で、メトリクスを特定ベンダーに依存させません。
あなた自身のデータからメトリクスを定義。 すでにガバナンスルールに従っているウェアハウステーブルを使用します。ベンダーテンプレートは不要です。結果はあなたのインフラストラクチャ内で計算され、スケジュールまたはオンデマンドで更新されます。
すべての結果の背後にあるSQLを検査。 結果の算出方法をすべて確認できます。ブラックボックス化やベンダー側の不透明さはありません。
リリース頻度の増加
本番環境で同時にテストされているアプリのバージョン数
“Harnessのおかげで、製品の変更にユーザーがどう反応するかを詳しく理解できるようになりました。ユーザーにとって最適な変更は何か、創作活動をどう支援できるかを、今では簡単に把握できます。”
— Jean Steiner, Ph.D., データサイエンス担当VP, Skillshare
Cloud Experimentationは、任意のフィーチャーフラグを即座に管理された実験に変換できるようにします。メトリクスを定義すると、Harnessが実験グループへの割り当てと分析を行い、別個のA/Bテストインフラストラクチャを立ち上げることなく、統計的に厳密な結果を得られます。
Harnessは、シーケンシャルテストと固定期間テストの両方をサポートしています。シーケンシャルテストでは、有意性が検出された時点で意思決定に到達できるため、迅速な反復に最適です。固定期間テストは、収益やコンバージョンの実験のようなハイステークスな意思決定に、より厳密な統計的厳密さを適用します。
Harnessの特許取得済みアトリビューションエンジンは、メトリクスの変化をそれを引き起こした正確なフィーチャーフラグに自動的に接続します。すべてのロールアウトにわたってリアルタイムでメトリクスを追跡し、Segment、mParticle、Sentry、Google Analyticsなどの分析プロバイダーと統合するため、結果を手動で相関付ける必要はありません。
はい。アクティブなフィーチャーフラグは、数クリックで実験に変換できます。ターゲットメトリクスを選択し、実験ウィンドウを定義すれば、Harnessが自動的に割り当て情報とメトリクスデータの追跡を開始します。
Harnessは、データが蓄積されるにつれて結果ダッシュボードに統計的有意性を表示します。シーケンシャルテストでは、しきい値を超えた時点で意思決定が得られます。固定期間テストでは、所定のサンプル期間の終了時に完全な信頼区間とともに結果が表示されます。