For the complete documentation index, see llms.txt. A Markdown version of this page is available by requesting this URL with the header "Accept: text/markdown".

Cloud Experimentation

すべてのチームにスケールする実験

任意のフィーチャーフラグを即座に実験に変換し、ユーザー体験と収益への影響を確認します。

セルフサービステスト

追加のセットアップなしでA/Bテスト

Harnessをリリースモニタリングに使用すると、実験のためのインフラストラクチャは既に確立されています。チームは追加のリソースや複雑さを必要とせず、セルフサービスツールでA/Bテストを実施できます。

すべてのチームで実験を実行。 プロダクト、エンジニアリング、データサイエンスの各チームが、ボトルネックやスケジュールの衝突なしに独立して実験を立ち上げ、計測します。

フラグを簡単に実験に変換。 既存のフィーチャーフラグはそのまま実験に利用できるため、設定を二重に行ったり、新しいツールの使い方を学んだりする必要はありません。

リアルタイムで結果に対応。 統計的有意性に達した時点で通知を受け取り、迅速に行動できます。

Experiment Results · checkout_flow_v2

コンバージョン率↑ +8.2% lift
Day 1Day 14
p-value
p < 0.05
statistically significant
コンバージョンリフト
+8.2%
vs control group
MetricImpactSig.
Conversion rate+8.2%
✓
Revenue per user+5.3%
✓
Cart abandonment-14%
✓
特許アトリビューション

すべてのリリースを精密に計測

特許取得済みのアトリビューションエンジンがロールアウトを監視し、フィーチャーレベルでデータ駆動の意思決定を可能にします。Segment、mParticle、Sentry、Google Analyticsと統合して包括的なトラッキングを実現します。

リアルタイムでメトリクスを追跡。 すべてのアクティブなフラグにわたるすべてのロールアウトを、自動メトリクス収集で監視します。

フラグレベルのアトリビューション。 結果を、その原因となった正確なフラグに帰属させます。手動での相関付けは不要です。

分析スタックを接続。 Segment、mParticle、Sentry、Google Analyticsを統合し、包括的なカバレッジを実現します。

属性別分析

属性別の分析で傾向を明らかに

国、デバイスの種類、ユーザーセグメント別に分析することで、全体集計では見逃しやすい傾向を発見できます。変更によって、どのユーザーに良い影響・悪い影響が出ているかを把握できます。

任意の属性でセグメント化。 国、デバイス、プランティア、またはSDKが追跡する任意のカスタムプロパティで結果を分解します。

隠れたパターンを発見。 全体の結果に大きな差がなくても、あるセグメントでの大きな改善と別のセグメントでの悪化が相殺されている場合があります。両方を見つけ出します。

成果の高いセグメントに絞って展開。 実験で成果が確認されたセグメントにはリリースし、その他のセグメントには改善・再検証するまで展開を保留します。

統合実験

実験を単一の信頼できる情報源に統合

統合されたメトリクス定義と結果計算により、チーム間の断片化したアプローチを排除します。すべての実験が同じメトリクスを参照するため、結果は常に比較可能で、関係者の意識は揃った状態を保てます。

統合されたメトリクスライブラリ。 メトリクスを一度定義し、すべての実験で再利用します。チーム間での矛盾する定義や重複するトラッキング設定はもうありません。

共有された結果とインパクトカード。 Metric Impact CardsとDetail Chartsにより、手動のレポート作成なしに発見を共有し、関係者の意識統一を促進できます。

チーム間のコラボレーション。 集中化された通知と効率化されたワークフローにより、プロダクト、エンジニアリング、データサイエンスが一体となって動けます。

お客様の声

チームはHarnessでより速くフィーチャーをリリースしています

12x

リリース頻度の増加

64+

本番環境で同時にテストされているアプリのバージョン数

“Harnessのおかげで、製品の変更にユーザーがどう反応するかを詳しく理解できるようになりました。ユーザーにとって最適な変更は何か、創作活動をどう支援できるかを、今では簡単に把握できます。”

— Jean Steiner, Ph.D., データサイエンス担当VP, Skillshare

Skillshare の導入事例を読む
よくある質問

よくある質問

Cloud Experimentationは、任意のフィーチャーフラグを即座に管理された実験に変換できるようにします。メトリクスを定義すると、Harnessが実験グループへの割り当てと分析を行い、別個のA/Bテストインフラストラクチャを立ち上げることなく、統計的に厳密な結果を得られます。

Harnessは、シーケンシャルテストと固定期間テストの両方をサポートしています。シーケンシャルテストでは、有意性が検出された時点で意思決定に到達できるため、迅速な反復に最適です。固定期間テストは、収益やコンバージョンの実験のようなハイステークスな意思決定に、より厳密な統計的厳密さを適用します。

Harnessの特許取得済みアトリビューションエンジンは、メトリクスの変化をそれを引き起こした正確なフィーチャーフラグに自動的に接続します。すべてのロールアウトにわたってリアルタイムでメトリクスを追跡し、Segment、mParticle、Sentry、Google Analyticsなどの分析プロバイダーと統合するため、結果を手動で相関付ける必要はありません。

はい。Harness FMEのアクティブなフィーチャーフラグは、数クリックで実験に変換できます。ターゲットメトリクスを選択し、実験ウィンドウを定義すれば、Harnessが自動的に割り当て情報とメトリクスデータの追跡を開始します。

Harnessは、データが蓄積されるにつれて結果ダッシュボードに統計的有意性を表示します。シーケンシャルテストでは、しきい値を超えた時点で意思決定が得られます。固定期間テストでは、所定のサンプル期間の終了時に完全な信頼区間とともに結果が表示されます。

Harness Cloud Experimentationを始める

すべてのプロダクトおよびエンジニアリングチームが、ボトルネックなしに実験を実行できるようにします。