
TVNZは実験によってプロダクトイノベーションを加速し、顧客インサイトを改善し、開発コストを最小化しました。
概要
TVNZが月1回の実験から複数の継続的なA/Bテストへと実験プロセスを拡大した方法をご紹介します。実現の鍵となったのは、Split(Harnessが買収)のフィーチャーマネジメント&エクスペリメンテーションです。
- 実験の加速: TVNZは実験の取り組みを拡大し、1日に複数のテストを実施することで、スピードと効率を向上させました。
- データドリブンな意思決定の強化: Splitのリアルタイムの結果と自動統計計算により、TVNZは機能パフォーマンスについて細やかなインサイトを得られるようになり、迷うことなく、より賢明なプロダクトの意思決定ができるようになりました。
- 機能展開の改善: フィーチャーフラグの活用により、TVNZは機能のオン/オフを簡単に切り替えることでリスクを最小化し、顧客フィードバックを得るためのターゲットを絞った実験を可能にしました。
- データ統合の効率化: TVNZの既存のデータパイプラインやGoogle AnalyticsとのSplitのシームレスな統合により、エンジニアリングの時間を節約し、データトラッキングを改善できました。
TVNZについて
Television New Zealand(TVNZ)は、ニュージーランドの国有商業放送局です。TVNZ 1、2、DUKEのテレビチャンネルに加え、TVNZ OnDemandストリーミングプラットフォームを通じて、毎日何百万人ものニュージーランド国民とつながっています。デジタル領域が拡大する中、TVNZはプロダクトの実験能力を高め、イノベーションを拡大し、自社開発システムの長期的な保守コストを削減するためのソリューションを求めていました。
課題
遅い手作業の実験プロセス
TVNZは、フィーチャーフラグの管理やA/Bテストの手作業のステップをDevOpsチームが行う必要がある自社開発の実験システムに大きな課題を抱えていました。これらのプロセスは遅く、顧客向け機能を迅速に反復する能力を制限していました。TVNZの目標は、月1回の実験から、より高い統計的な厳密さを備えた、より自動化された拡張性のあるシステムを使って複数の継続的な実験を行うことへ移行することでした。
解決策
より速く、より拡張性のある実験
TVNZは、信頼できるフィーチャーフラグの基盤を構築し、A/Bテストを改善し、実験プロセスを自動化するためにSplitを選びました。Splitを導入したことで、チームはボタン一つで機能のオン/オフを簡単に切り替えられるようになり、顧客への悪影響のリスクを低減しました。
- 実験の効率化: Splitは、適切なランダム化と統計計算を保証しながらA/Bテストのプロセスを自動化しました。
- リアルタイムのインサイト: プロダクトとエンジニアリングのチームは実験結果をリアルタイムで確認できるようになり、機能展開やロールバックに関するより速い意思決定が可能になりました。
- ダイナミックなターゲティングと実験: TVNZはSplitを使ってパーソナライズされた体験のためにユーザーを動的にセグメント化し、サンプルサイズやバリエーションをリアルタイムで調整しました。
TVNZ OnDemandのProduct ManagerであるNathan Wichmannは、Splitによってチームが実験のスピードを大幅に上げ、データに基づく意思決定ができるようになった経緯を次のように語っています。「Splitによって、数ヵ月に1回の実験から、順序とプライオリティ付けを慎重に考える必要があるほど多くの実験を行うまでになりました」。
結果
実験とイノベーションの拡大
SplitをTVNZの開発プロセスに統合したことで、目に見える改善が得られました。
- 実験の加速: TVNZは稀にしか実験を行わない状態から継続的な実験へと移行し、フィードバックループを大幅に高速化しました。
- 実験ペースの向上: 実験の作成と実施が容易になったことで、チームは複数のテストを同時に実施できるようになり、意思決定のベロシティが向上しました。
- 意思決定の強化: Splitのリアルタイムの結果とデータパイプラインとの統合により、TVNZは新機能の影響を評価し、必要な場合には迅速に方向転換できるようになりました。
- 機能債務の削減: TVNZはSplitを使って古い機能を安全に見直し、再評価できるようになり、削除や改善を実験することができました。
- ビジネスへの影響: 実験はチームがプロダクトパフォーマンスを測定・追跡し、イノベーションをビジネスの成功に直接結び付けるのに役立ちました。
「Splitがあることでフィーチャーフラグや実験をずっと利用しやすくなり、活用頻度も大幅に増えました。ランダムなサンプルサイズをターゲットにし、そのサイズを簡単に増やせますし、問題があればすぐにオフに切り替えることもできます」— Mel De Soysa、Business Analyst、TVNZ
今後の展望
実験文化の構築
TVNZがプロダクトの拡大とイノベーションを続ける中、Splitは実験文化を維持する上で不可欠な存在であり続けます。チームは、重要なビジネス指標との整合性を確保しながら、プロダクト機能をテスト、測定、改善できます。
Nathan Wichmannは次のように説明しています。「Splitは私たちにとって本当に有用でした。プロダクトへの影響を測定し、取り組んできたアイデアが具体的なビジネス成果を生んだことを示すことができました」。TVNZによる継続的なSplitの活用は、プロダクトと顧客に関する意思決定を今後も進化させ続けることを支えています。

