Wasimilのホテル予約プラットフォームは、PlaywrightからHarness AI Test Automationへ移行し、テストのメンテナンスを50%削減し、バグ件数を大幅に減らしました。
背景
Wasimilは、ホテルオーナー、フロントデスクスタッフ、ゲストが利用するホテル予約・管理プラットフォームを運営しています。このプラットフォームは非常にダイナミックで、毎日機能がリリースされるため、シームレスなユーザー体験を確保し、本番環境での問題を最小限に抑えるための強固なテストが必要でした。Wasimilは以前、自動化テストにPlaywrightを使用していましたが、メンテナンスと信頼性において大きな課題を抱えていました。
課題
- メンテナンス負荷の高さ:常時50%以上のPlaywrightテストが不具合を起こしており、誤検知(フォールスポジティブ)が頻発し、自動化の結果に対する信頼が得られていませんでした。
- リソースの消耗:エンジニアは新機能の開発よりも、自動化スクリプトの修正とメンテナンスに不釣り合いに多くの時間を費やしていました。
- アクセシビリティの制限:Playwrightにはコーディングの専門知識が必要であり、技術的知識を持たないQAチームメンバーが効果的に貢献することが困難でした。
「以前Playwrightを使っていたときは、テストの半分が壊れていました。そして、それが誤検知なのか実際のリグレッションなのか分からないため、エンジニアはそれらのPlaywright自動化テストに価値を見出せませんでした。」
- Tom、CTO、Wasimil
解決策:Harness AI Test Automationへの移行
これらの課題に直面したWasimilは、メンテナンス時間を削減し、アクセシビリティを高め、毎日のリリースをサポートするソリューションを求めていました。チームはエンドツーエンドテストにHarness AI Test Automationを導入しました。
成果
| 指標 | 導入前(Playwright) | 導入後(Harness AI) |
|---|---|---|
| 失敗率 | 50%、誤検知が頻発 | 10%未満 |
| メンテナンス時間 | 1日あたり約2時間 | 1日あたり45~60分 |
| リリース頻度 | 週2回 | 毎日、柔軟に対応 |
| アクセシビリティ | コーディングが必要 | ノーコードインターフェース |
| テストにおける開発者とQAの連携 | 限定的 | 向上、開発者がより貢献 |
- バグ件数の削減:本番環境のバグ件数、特に重大なバグが減少し、チームは火消し対応よりも機能提供に集中できるようになりました。
- リソースの最適化:バグ修正やテストメンテナンスに充てられていたエンジニアリングリソースが、機能開発に再配分されました。
- リリースケイデンスの向上:毎日リリースできるようになったことで、チームの疲弊が減り、デプロイの柔軟性が向上しました。
- アクセシビリティ:Web上で使えるノーコードインターフェースにより、技術的知識を持たないQAチームメンバーも力を発揮できるようになり、すべてのエンジニアにとって統一されたテスト手法が実現しました。
「Harness AI Test Automationを使うことで、チェックを行う自動化があるため、毎日リリースできるようになりました。QAや他の開発者は、スモークテスト以外のことに時間を使えるようになっています。」
Bima、Lead QA Engineer、Wasimil
主な学び
- AI Test Automationによるメンテナンスの削減:Harness AIはUIの変更に適応する能力を持ち、テストスクリプトの更新に費やす時間を大幅に削減します。
- アクセシビリティが導入を促進:使いやすさと統一されたフレームワークにより、QAと開発チーム間の連携が強化されました。
- 品質とスピード:バグ件数の減少とリリースサイクルの短縮により、プロダクトの品質とチームの士気の両方が向上しました。
「AI Test Automationのおかげで、バグ修正だけでなく機能もリリースできるようになりました。エンジニアリングリソースの30~40%をバグ修正に費やすのは避けたい。お客様にバグ修正ばかりをお届けするのは誇れることではありませんから。お客様が期待しているのは機能であり、バグ修正ではないのです。」
- Tom、CTO、Wasimil
次のステップ
- 開発者の貢献を増やす:使いやすいインターフェースを活用し、より多くの開発者がテスト自動化に貢献できるよう促進します。
- 失敗率の監視と最適化:特にAIやセレクターに関連するテストの失敗率を引き続き追跡し、削減していきます。
まとめ
WasimilによるHarness AI Test Automationの導入は、テストプロセスを一変させ、メンテナンスの削減、リリース速度の向上、そして技術者・非技術者を問わずチームメンバー全員の能力発揮を実現しました。同プラットフォームのAI主導のアプローチにより、毎日のリリースが可能になり、プロダクト品質が向上し、チームはメンテナンスよりもイノベーションに集中できるようになりました。
「Harness AI Test Automationが一般的なエンジニアにとってアクセスしやすいという点は素晴らしいです。すべてのエンジニアがPlaywrightに精通しているわけではありません。それぞれが自分の好きなツールを持ち込みます。しかし私たちに必要なのは、一つの統一されたテストフレームワークです。アクセスしやすく、簡単に学べるものです。シンプルなWebインターフェースを使って、必要なセレクターやシーケンスの設定方法を理解し、テストを実行して結果を直接確認できます。」
- Tom、CTO、Wasimil

