Harness CIの導入により、Xactlyではコミットから完了までのすべてのビルドが一定の時間で完了するようになりました。キューイングやビルド失敗も発生しません。この一貫したパフォーマンスが、生産性の大幅な向上に貢献しています。

Harnessによる効果
- 開発者体験は「デバッグが不可能」な状態から、CIパイプライン全体でのデプロイの完全なトレーサビリティを実現する状態へと変化しました。
- 年間575,000ドル相当のEC2ベースのJenkinsファームを廃止しました
Xactlyについて
Xactlyは、Xactly Incent、Xactly Forecasting、Xactly Operational Sales Managementなど、人気のレベニューオペレーション製品を手がける企業であり、これらはインテリジェントレベニュープラットフォームの一部です。ユーザーは、このプラットフォームの精緻なコンペンセーションプラン、優れたインセンティブ、データに基づくインサイトにより、自社のパイプラインに対してより高い確信を持つことができます。多くのセールス組織がこの製品を好む理由はさまざまですが、その一つがコンペンセーションプランを明確に整理できることです。
最新のソフトウェアとデータサイエンスを融合させるXactlyの使命
卓越性への期待に応えるため、Xactlyが提供するソフトウェアは最高水準を満たす必要があります。レベニューは誰も失敗を許されない領域です。精緻であることはもちろん、それ以上に、関係するすべての関係者に対してより大きな視点を提供する必要があります。この体験を形作っているのがXactlyのインテリジェントレベニュープラットフォームであり、エンジニアリング担当ディレクターのAlby Grahamは、その成功を支えるリーダーの一人です。
Grahamは、Xactlyのソフトウェア提供における2つの基盤的な業務を統括しています。一つは、迅速なアプリケーション提供のために設計されたプラットフォームの管理です。彼らが「フレームワーク」と呼ぶこの仕組みは、インセンティブコンペンセーションマネジメント(ICM)ソリューションにデータを供給する一連のリファレンスアプリケーションも管理しています。このICMソリューションこそが、プラットフォームにAIおよびML機能を提供し、それによってXactlyの顧客にインサイトを提供する部分です。つまり、純粋なソフトウェア開発と高度なデータサイエンスを一つのソフトウェア提供の取り組みの中で組み合わせているのです。これらの業務を円滑に進めるため、Albyのもとには約60名のエンジニアとデータサイエンティストが在籍しています。
XactlyのCTOは、リソースを無駄にしたくないと考えています。Xactlyのテクノロジー部門のリーダーシップは、ソフトウェア開発には強力な投資が必要であることを理解していますが、効率的に運用すればビジネスへの影響をより大きくできることも理解しています。無秩序なソフトウェア提供パイプラインから生まれるシャドーIT、パブリッククラウドの無秩序な利用、その他の歪んだインセンティブの弊害は、開発者体験やソフトウェアの品質を損なうことなく排除できます。実際、一定の制約を設けることは、CTOだけでなくエンドユーザーにとっても望ましい結果をもたらします。それでは、Xactlyが最新のCIへと至った道のりを見ていきましょう。
モノリシックなビルドが生んだ、継続的インテグレーションと釣りの物語
Albyは、最も優秀なエンジニアの一人についての次のような逸話を語っています。あるとき、プロダクションリリースが予定されていました。しかし、その開発者がビルドを実行すると、Jenkinsがクラッシュしました。その開発者はAlbyに、Jenkinsが翌日まで復旧しないことを知っていたため、釣りに行くと伝えました。Albyはこれに全く問題を感じませんでした。なぜなら、それは事実だったからです。Jenkinsは翌日まで復旧しませんでした。
これは、多くのJenkinsユーザー企業に共通する物語です。Jenkinsが導入され、たとえばパブリッククラウド上で運用されます。企業のソフトウェア開発チームが成長するにつれ、当初のCI実装はそのまま稼働を続けます。拡大するチームは、プラットフォームとMLモデルのリポジトリの両方に、より多くのコードをコミットするようになります。Jenkinsインスタンスのパフォーマンスは徐々に低下し、ビルドキューは増大し、ビルドが積み重なっていきます。
さて、Xactly固有のJenkinsインスタンスの話に戻りましょう。このインスタンスは1日に少なくとも2~3回クラッシュまたは停止し、パイプラインがアイドル状態になっていました。パイプラインが稼働している間も、稼働時間中はいつでもキューに6~7件のビルドが溜まっている状態でした。実質的に、誰かがコミットしても、Jenkinsのせいで数時間後にしかターゲット環境に反映されませんでした。
また、ビルドが「途中で止まる」ことも珍しくありませんでした。あるときには、ビルドが途中で止まったためにキューに35件のビルドが溜まり、Albyのチームは再起動まで1時間待たなければなりませんでした。
ビルド速度を改善して勝利をつかむ
最初の解決策は、このJenkinsのボトルネックを他のJenkinsインスタンスに分散させることでした。これにより、Jenkins問題の第2の変数、すなわちJenkinsの肥大化が発生しました。Jenkinsのビルドプロセスを起動するイベントは、中央リポジトリへのコミットでした。問題は、最大4~5台のJenkinsインスタンスが毎回同じコミットを拾ってしまい、並行して複数のビルドとデプロイが発生することでした。この新しいCIへのアプローチには、いくつかの問題がありました。最も重要な問題の一つはトレーサビリティ(追跡可能性)、つまり監査可能性でした。たとえばビルド123やリリースJE 12を特定のJenkinsインスタンスとそのビルドパイプラインに遡って追跡することは、実質的に不可能でした。この問題のもう一つの側面は、次の問いに答えることから生まれます。テストがどこで実行されているか分からない場合、そのテストをどこまで信頼できるのか。テストカバレッジはどの程度か。どのビルドパイプラインがどのテストを実行したのか。こうした問いはすべて、Grahamが Harness Continuous Delivery(CD)を導入するまで、答えの出ない状態が続きました。
この状況が修正され、1回のコミットにつき1台のJenkinsマシンだけが対応するようになると、状況は制御下に入ったように見えました。XactlyはすでにHarness CDを利用しており、Jenkinsのビルドシステムが新しいアーティファクトを生成するビルドのたびに更新していたDockerイメージタグを監視し、Docker Hubにプッシュされたイメージとそのタグを更新していました。しかし、イメージタグだけがソフトウェア提供プロセスが依存すべき唯一のパラメータというわけではありません。出所がせいぜい不明瞭なイメージタグだけに、本番環境全体を依存させることはできないのです。
開発者の生産性とシングルペインオブグラス:トレードオフなし
当然ながら、このような状況を管理することは大きな負担となっていました。コストは増大し、その大半は、ビジネスクリティカルなアプリケーションであるプラットフォームとその中のインテリジェンスの開発を実質的に妨げる、まったく非生産的なタスクから生じていました。AWS EC2インスタンス上で稼働する単一のJenkinsインスタンスには、年間36,000ドル以上のコストがかかることがあります。16台のJenkinsインスタンスがEC2のコンピュートレイヤー上で乱立している状況を想像してみてください。CIを運用するだけでコストが天文学的な規模になってしまいます。
金銭的コストはさておき、ビルドシステムがクラッシュして誰も最新のコードを数時間取得できない状況で、40人の開発者の貴重な時間を無駄にすることは大きな問題です。開発者はデリバリープラットフォームへの信頼を失い、問題が起きることを予測して、コミットの頻度を下げるインセンティブが働いてしまいます。これは、企業の成功を支える主要な要因である開発者の確信を損なうことになります。この繰り返される状況を解消するため、Jenkinsインスタンスを段階的に廃止し、より優れたソリューションを提供する計画が立てられました。
必要なときに支払う:Xactlyらしく、速く簡単に
Xactlyのソフトウェア開発に対する考え方は、デリバリーパイプラインを支えるツールを購入するのであれば、そのツールは深い機能セットと能力セットで問題を解決すべきだというものでした。Spinnakerは、まさにこの理由から評価対象となりましたが、採用はされませんでした。機能セットの範囲は広い一方で、深さに欠けており、CIの問題を解決できなかったのです。Xactlyはすでに Harness CDの顧客であり、Harnessができることを熟知していたため、Harness CI Enterpriseの検討は自然な流れでした。「一つのことをしっかりやる」とAlbyは語りました。
安定性と、コミットからデプロイまでの時間が、Xactlyが改善を実感した2つの主要な領域です。まず、Harness CIEは導入以来一度もクラッシュしておらず、これは以前のJenkinsの状況と比較すると大きな成果です。さらに、EC2ベースのJenkinsファームを廃止することで、年間575,000ドルの節約を実現しました。
心配事を抱えずに釣りに行く
最終的に、コミットから完了までのすべてのビルドが一定の時間で完了するようになりました。キューイングやビルド失敗は発生しません。この一貫したパフォーマンスが、生産性の大幅な向上に大きく貢献しています。開発者は、変更がアルファ環境に反映される様子を数分で確認できるようになりました。これは、Jenkinsでは数時間かかっていたことです。これにより、開発者はより多くの貢献をし、新しいことを試すようになります。CIのスピードが向上することで、手動テストを含むより多くのテストを、プロセスを妨げることなく実行できるようになります。CIがより大きなプラットフォームの一部であることで、開発者はより短いフィードバックループを得られ、それが創造性と迅速な対応を促します。
Harness CIがXactlyのパイプラインで稼働し始めてわずか数ヵ月後、最高のエンジニアの一人がJenkinsの復旧を待つのではなく釣りに行ったという先の逸話に戻ると、Albyは次のように語っています。「ビルドについて不満を言う人がもういません。それがどれほど私の気持ちを楽にしてくれているか、言葉にできません。こうしたことは数値化しにくいものですが、金額よりもはるかに大きな影響があります。」

