Introduction & Background
- Bitsai简介:介绍下Bitsail是什么、发展状况、应用状况(2p)
- Bitsail应用现状:数据源 & 使用环境种类多(1p)
- 现状下存在的问题:难以确定各种数据源的通道组合是否可用(1p)
- 开源现状:其他产品目前是怎么做的一个测试框架&测试情况(1p)
- 如何解决这个问题:概述自动测试方案(1p)
Architecture
- 整体架构介绍:(从基本目标出发,介绍测试框架的三个部分)(1p)
- Test Executor:用于模拟各种执行环境(引擎、底座)(与下面共1p)
- DataSource:用于测试的数据源
- Scheduler:自动生成M*N的通道组合测试作业(1p)
- 基于此框架,在scheduler层面优化了测试效率
- 支持多种作业生成策略(M*N、M+N、黑白名单)(1p)
- 维护Test Executor和DataSource资源池,并据此调度测试作业(1p)
- 存储作业执行状态,用于增量重试、与外部流程打通(1p)
Implementation
- 测试框架在字节内部的应用状态(1p)
- 集成到了发版流水线中
- 取得的收益(1p)
- 帮助developer感知代码变更对全局通道造成的影响
- 帮助developer决策哪些数据源组合的通道产品能够对外开放
Future(1p)
- 更多的功能
- 支持增量测试(通过感知代码变化决定进行哪些测试)
- 支持对数据准确性的验证测试
- 更多的场景
- 扩展TestExecutor的执行模式,使其能支持其它运行模式(例如直接提交到远程yarn)