Customers→
Build.com
Client Name

Build.comがCI/CDのロールバックを30秒に自動化 | Harness Case Study

Build.comは検証作業の大部分を排除しました。その方法をご紹介します。

Industry:

Software and Services

Products:

CD

,

見込み客やアナリストから「Harnessのことは理解しているが、本当に本番環境で自動的にデプロイ・検証・ロールバックを行っている顧客がいるのか?」と聞かれることがあります。はい、実際にいます。自動化は恐ろしく聞こえるかもしれませんが、ミッションクリティカルなアプリケーションを持ち上げて、クラウド上の巨大な書店に移すというのも同様に恐ろしく聞こえるものです。

続ける前に、Harnessを早くから信じてくれたBuild.comのEd、Tim、そしてチームの皆さんに感謝を伝えたいと思います。さらに重要なことに、彼らはCI/CDと、本番デプロイの検証とロールバックを自動化する機械学習の活用を強く信じていました。

ここでは、彼らがわずか数週間でデプロイパイプラインをエンドツーエンドで自動化した経緯をご紹介します。

デプロイパイプライン

以下の最初のスクリーンショットは、7つの異なるステージとワークフローで構成されたBuild.comの実際のデプロイパイプラインを示しています。

  • ステージ1・2 – 開発およびテストのワークフロー(並列実行)
  • ステージ3~5 – Edu/Sandbox/Stagingのワークフロー(並列実行)
  • ステージ6 – 手動承認
  • ステージ7 – 本番環境のワークフロー

デプロイパイプラインは、本番環境のワークフローが失敗したステージ7に至るまでは順調に見えていたことが分かります。

失敗した本番環境のワークフロー

以下で、失敗した本番環境のワークフローをより詳しく見ていきます。

このワークフローはカナリアデプロイから始まり、フェーズ1で本番環境の20%をアップグレードします。次に、HarnessはこのデプロイをNew Relic上でマークし、New RelicとSumo Logicの両方に即座に接続して、サービス/アプリケーションのパフォーマンスと品質を検証します。

この検証プロセスの間、Harnessの教師なし機械学習アルゴリズムが、両方のツールがアプリケーションから収集する数千件のログエントリや時系列メトリクスを分析・比較し、異常や回帰をフラグ付けします。

上のスクリーンショットから、アプリケーションのパフォーマンス検証は成功したものの、アプリケーションの品質検証は失敗したことが分かります。これは通常、Harnessが何か独特で予期しないもの、典型的にはサービス/アプリに新たに発生したイベント、エラー、または例外を検出したことを示しています。

機械学習による継続的検証

Harness導入以前は、6~7人のチームリーダーが本番デプロイごとに60分かけて検証を行っていました。今では、1人のエンジニアが数分でこの作業を行えます。

以下のスクリーンショットは、上記のアプリケーション品質検証ステップが失敗した理由を示しています。Sumo Logic内のアプリケーションログデータを分析することで、Harnessの機械学習アルゴリズムは4件の新たな品質回帰を検出しました。具体的には、Harnessは過去のどのデプロイでも観測されたことのない4件の新しい例外を検出しました。

以下のチャートに表示されている灰色のドットは「ベースラインイベント」または「クラスター」を表しています。これらはHarnessが時間をかけて学習したイベントであり、デプロイ中に頻繁に観測されるため「正常」として分類されています。赤色のドットは未知のイベント、または予期しない頻度で発生しているイベントを表しています。これらは通常、本番デプロイ中に痛い目に遭わせるものです。

これらの回帰を検出してから数秒以内に、Harnessは「スマートロールバック」を実行し、サービス/アプリケーションを直前の正常に動作していたバージョン(アーティファクトおよびランタイム設定)に戻しました。なお、スマートロールバックはワークフローの一部として完全に自動化することもできますし、人間による手動の介入で制御することもできます。

スマートロールバック(32秒で完了)

上記ワークフローの上部を拡大すると、カナリアデプロイのフェーズ1が失敗した後に実際にロールバックが発生したことを視覚的に確認できます。

今回のデプロイ障害で最も喜ばしかった点はおそらく、直前の正常なバージョンへ自動的にロールバックするのにかかった時間です……わずか32秒でした。10月にEd、Tim、そしてチームと話した際、スクリプトや依存関係、設定の多さから、本番デプロイを手動でロールバックするには平均して32分かかっていたと聞きました。Build.comはHome Depotに次ぐ5億ドル超のeコマース収益を誇る企業であり(https://www.forbes.com/sites/georgeanders/2016/01/04/whod-start-a-tech-firm-in-chico-chris-friedlands-zany-path-to-riches/#7b7864ea50b7)、ダウンタイムとロールバックの1分1秒が重要な意味を持ちます。

というわけで、今日ではCI/CDプロセス全体をエンドツーエンドで自動化できることが実証されました。Build.comの場合、継続的インテグレーションにはJenkinsを、継続的デリバリーと、New RelicおよびSumo Logicのデータに対する継続的検証にはHarnessを使用しています。
‍

さらに良いことに、この物語において、機械学習の活用によって誰かが傷ついたり仕事を失ったりすることはありませんでした。

Get Started

Get Started with Harness AI

Try the full platform free. No module restrictions, no credit card.

Continuous Delivery & GitOps