Customers→
Twilio
Client Name

Twilio、実験によってプロダクトの意思決定を加速 | Harness Case Study

迅速な実験がTwilioの継続的なプロダクト成長と価値あるイノベーションを支えました。

Industry:

Software and Services

Products:

FME

,

展開を計画より6か月前倒し

多段階のきめ細かなユーザーターゲティング

データドリブンな機能検証

Twilioについて

Twilioは、開発者や企業がメッセージング、音声、ビデオ機能を自社のソフトウェアアプリケーションに直接組み込めるようにする、コミュニケーションAPI分野のグローバルリーダーです。2008年に設立され、サンフランシスコに本社を置くTwilioには800人以上の従業員が在籍しています。急成長するテクノロジー企業として、Twilioは常にプロダクトを革新・改善する新しい方法を追求しています。同社は増え続ける顧客の需要に対応し、採用を促進するために、より速くデータドリブンなプロダクトの意思決定を行うべく、実験の取り組みを拡大するためにSplitを導入しました。

課題

リリースするすべての機能の影響を把握する

世界で最も急成長するソフトウェア企業の一つとして、Twilioの革新的なエンジニアリングチームは、複数のユースケース全体で豊富な実験をサポートするソリューションを必要としていました。彼らは次のような課題に直面していました。

  • 高リスクなリリース:大きな影響を持つ新機能(例:サインアップフローの変更)が慎重に展開され、その成功が測定されるようにすること。
  • 機能価値の評価:API応答時間などの指標を改善することを目的としたバックエンドのコード変更の影響を定量化すること。
  • セグメント化されたテスト:地域、コード言語、顧客アカウントレベルなど、様々なユーザーセグメントで実験を実施すること。

Twilioのエンジニアリングチームは多くのツールを自社で構築してきましたが、実験の需要が高まる中、ユーザーのアサインを管理し、機能トリートメントを記録し、データインフラとシームレスに統合できる、より堅牢なシステムが必要になりました。

解決策

フルスタックの実験のためのSplit統合

実験の取り組みを拡大するため、Twilioは複数のチームと環境にわたって高度な実験を実施するために必要な機能を備えたSplitを導入しました。成功の鍵となったのは、Splitの柔軟性とTwilioの既存インフラとの統合能力でした。

主な改善点:

  • 迅速な実験のセットアップ:Splitを使うことで、Twilioは予定より6か月早く実験プラットフォームを展開でき、より速いテストと迅速なプロダクトの反復が可能になりました。
  • 緻密なターゲティング:Splitにより、Twilioは顧客の行動や地理的要因に基づいてユーザーをセグメント化し、精密なターゲティングを実施できるようになり、より正確なテストとより優れたインサイトが得られました。
  • シームレスな統合:Splitの柔軟性により、Twilioは実験プラットフォームを自社の社内従業員向けダッシュボードに統合でき、プロダクトとエンジニアリングの両チームにシームレスな体験を提供できました。
  • データドリブンな意思決定:Splitのプラットフォームにより、チームはフルスタックの実験を実施できるようになり、より速く、より多くの情報に基づくプロダクトの意思決定に必要な重要なデータが得られました。

TwilioのProduct ManagerであるLaura Schafferはこうコメントしています。「Splitのフルスタック実験プラットフォームは、エンジニアリングとプロダクトチームを念頭に設計されています。その堅牢なアーキテクチャと豊富な機能セットは、私たちの社内プラットフォームに統合され、エンジニアリング組織全体での実験を強力に支えています」。

結果

実験の加速とプロダクトの意思決定の改善

Splitを導入することで、Twilioはテストと反復へのアプローチを変革し、より速く、より自信を持ってデータドリブンな意思決定を行えるようになりました。

  • 6か月の先行スタート:Splitのフィーチャーフラグと実験機能により、Twilioのチームはプラットフォームの展開を加速させ、計画より6か月早く稼働を開始できました。
  • 明確なデータドリブンのインサイト:ユーザーサインアップフローに質問を追加するかどうかという社内の重要な議論において、TwilioはSplitを使ってテストを実施しました。1か月後、この実験により、追加の質問がサインアップ体験を大幅に改善することが明らかになり、営業チームの仮説が検証されました。
  • 検証されたプロダクトの改善:Splitの機能を活用することで、Twilioはプロダクトの変更を精密にテストし、売上機会やプロダクトの採用といった重要指標に対するそれらの変更の影響を測定できるようになりました。

ビジネスへの影響

採用と意思決定の効率の向上

Splitの導入により、Twilioはビジネス成果に直接的な影響を与えるいくつかのメリットを得ました。

  • より速いプロダクトの反復:実験プロセスを加速させたことで、Twilioは新機能を迅速に評価し、最も効果的な機能を展開できるようになりました。
  • 情報に基づく意思決定:Splitは、Twilioがデータに基づく結果でプロダクトに関する重要な意思決定を検証するのに役立ち、プロダクトの変更や機能に関する不確実性を低減しました。
  • 効率的なリソース活用:エンジニアとプロダクトマネージャーは手作業で実験を追跡したりカスタムソリューションを構築したりする必要がなくなり、より優先度の高い取り組みに集中できるようになりました。

今後の展望 

実験文化の拡大

Twilioは、プロダクトのより多くの領域でSplitの利用を拡大し、実験の取り組みの拡大を続ける計画です。例えば、二要素認証によるユーザー確認プロセスを改善する実験を計画しています。目標は確認の成功率を高めることで、Twilioの継続的な成功におけるSplitの役割をさらに実証することです。

Splitとの取り組みを通じて、フルスタックの実験はTwilioの継続的デリバリープロセスの重要な一部となり、プロダクトの継続的なイノベーションと開発を支えています。

Get Started

Get Started with Harness AI

Try the full platform free. No module restrictions, no credit card.

Runtime Configuration