多くのテストスイートは速度と信頼のどちらかを選ばせます。Test Intelligence、フレーキーテスト隔離、カバレッジ強制適用はすべてのビルドで連動し、トレードオフではなく効果が積み重なります。
インテリジェントなテスト選定。 Harness は各コード変更を分析し、それを検証するユニットテストのみを自動実行します。重要なシグナルを損なうことなく、残りのテストをスキップします。
多言語対応。 Java、Python、Ruby、C#、Scala、Kotlin、JavaScript(ベータ版)に標準で対応し、JUnit、pytest、RSpec、Maven などのフレームワークで利用できます。
並列テスト実行。 残りのテストを並列ワークロードに分割して同時実行し、スマートな選定による時間短縮効果をさらに積み重ねます。
Test Intelligence は、チームが既に使用している言語とフレームワークに対応しています。
JUnit 4 & 5、TestNG
pytest、unittest
RSpec、Minitest
NUnit、MSTest、xUnit
Go test
Jest、Mocha(近日対応)
JVM 経由の JUnit
JVM 経由の ScalaTest
合格と失敗が不安定に繰り返されるテストは、パイプラインへの信頼を損ない、再実行に時間を浪費させます。Harnessはフレーキーテストを自動的に特定して隔離するため、フレーキーテストによる失敗が正常なデプロイをブロックすることはありません。
Harness はビルドをまたいですべてのテストの合否履歴を追跡し、フレーキーテストを手動タグ付け不要で検出します。
フレーキーテストはメインのパイプラインゲートから自動的に外されます。実行と報告は継続されますが、マージをブロックすることはなくなります。
隔離された各テストのフレーク率、失敗履歴、最後に成功した実行を確認できるため、チームは問題を無視せず根本から修正できます。
フレーキーテスト · 過去30日間
コードカバレッジはビルドごとにファイル単位で実行されるため、テストでカバーされている行と未カバーの行を常に把握できます。
すべてのプルリクエストで行・ブランチカバレッジをファイル単位で確認し、リリース前にテストの漏れを発見できます。
設定可能なカバレッジしきい値をパイプラインゲートとして設定します。基準を下回るPRはステータスチェックに失敗し、マージできません。
Test Intelligence がテストのサブセットを実行する場合でも、リポジトリおよびブランチ別のカバレッジ傾向を時系列で追跡できます。