すべてのチームで実験を実行。 プロダクト、エンジニアリング、データサイエンスの各チームが、ボトルネックやスケジュールの衝突なしに独立して実験を立ち上げ、計測します。
フラグを簡単に実験に変換。 既存のフィーチャーフラグはそのまま実験に利用できるため、設定を二重に行ったり、新しいツールの使い方を学んだりする必要はありません。
リアルタイムで結果に対応。 統計的有意性に達した時点で通知を受け取り、迅速に行動できます。
Experiment Results · checkout_flow_v2
リアルタイムでメトリクスを追跡。 すべてのアクティブなフラグにわたるすべてのロールアウトを、自動メトリクス収集で監視します。
フラグレベルのアトリビューション。 結果を、その原因となった正確なフラグに帰属させます。手動での相関付けは不要です。
分析スタックを接続。 Segment、mParticle、Sentry、Google Analyticsを統合し、包括的なカバレッジを実現します。
任意の属性でセグメント化。 国、デバイス、プランティア、またはSDKが追跡する任意のカスタムプロパティで結果を分解します。
隠れたパターンを発見。 全体の結果に大きな差がなくても、あるセグメントでの大きな改善と別のセグメントでの悪化が相殺されている場合があります。両方を見つけ出します。
成果の高いセグメントに絞って展開。 実験で成果が確認されたセグメントにはリリースし、その他のセグメントには改善・再検証するまで展開を保留します。
統合されたメトリクスライブラリ。 メトリクスを一度定義し、すべての実験で再利用します。チーム間での矛盾する定義や重複するトラッキング設定はもうありません。
共有された結果とインパクトカード。 Metric Impact CardsとDetail Chartsにより、手動のレポート作成なしに発見を共有し、関係者の意識統一を促進できます。
チーム間のコラボレーション。 集中化された通知と効率化されたワークフローにより、プロダクト、エンジニアリング、データサイエンスが一体となって動けます。
リリース頻度の増加
本番環境で同時にテストされているアプリのバージョン数
“Harnessのおかげで、製品の変更にユーザーがどう反応するかを詳しく理解できるようになりました。ユーザーにとって最適な変更は何か、創作活動をどう支援できるかを、今では簡単に把握できます。”
— Jean Steiner, Ph.D., データサイエンス担当VP, Skillshare
Cloud Experimentationは、任意のフィーチャーフラグを即座に管理された実験に変換できるようにします。メトリクスを定義すると、Harnessが実験グループへの割り当てと分析を行い、別個のA/Bテストインフラストラクチャを立ち上げることなく、統計的に厳密な結果を得られます。
Harnessは、シーケンシャルテストと固定期間テストの両方をサポートしています。シーケンシャルテストでは、有意性が検出された時点で意思決定に到達できるため、迅速な反復に最適です。固定期間テストは、収益やコンバージョンの実験のようなハイステークスな意思決定に、より厳密な統計的厳密さを適用します。
Harnessの特許取得済みアトリビューションエンジンは、メトリクスの変化をそれを引き起こした正確なフィーチャーフラグに自動的に接続します。すべてのロールアウトにわたってリアルタイムでメトリクスを追跡し、Segment、mParticle、Sentry、Google Analyticsなどの分析プロバイダーと統合するため、結果を手動で相関付ける必要はありません。
はい。Harness FMEのアクティブなフィーチャーフラグは、数クリックで実験に変換できます。ターゲットメトリクスを選択し、実験ウィンドウを定義すれば、Harnessが自動的に割り当て情報とメトリクスデータの追跡を開始します。
Harnessは、データが蓄積されるにつれて結果ダッシュボードに統計的有意性を表示します。シーケンシャルテストでは、しきい値を超えた時点で意思決定が得られます。固定期間テストでは、所定のサンプル期間の終了時に完全な信頼区間とともに結果が表示されます。