Introduction & Background
- Bitsai简介：介绍下Bitsail是什么、发展状况、应用状况（2p）
- Bitsail应用现状：数据源 & 使用环境种类多（1p）
- 现状下存在的问题：难以确定各种数据源的通道组合是否可用（1p）
- 开源现状：其他产品目前是怎么做的一个测试框架&测试情况（1p）
- 如何解决这个问题：概述自动测试方案（1p）
Architecture
- 整体架构介绍：（从基本目标出发，介绍测试框架的三个部分）（1p）
- Test Executor：用于模拟各种执行环境（引擎、底座）（与下面共1p）
- DataSource：用于测试的数据源
- Scheduler：自动生成M*N的通道组合测试作业（1p）
- 基于此框架，在scheduler层面优化了测试效率
- 支持多种作业生成策略（M*N、M+N、黑白名单）（1p）
- 维护Test Executor和DataSource资源池，并据此调度测试作业（1p）
- 存储作业执行状态，用于增量重试、与外部流程打通（1p）
Implementation
- 测试框架在字节内部的应用状态（1p）
- 集成到了发版流水线中
- 取得的收益（1p）
- 帮助developer感知代码变更对全局通道造成的影响
- 帮助developer决策哪些数据源组合的通道产品能够对外开放
Future（1p）
- 更多的功能
- 支持增量测试（通过感知代码变化决定进行哪些测试）
- 支持对数据准确性的验证测试
- 更多的场景
- 扩展TestExecutor的执行模式，使其能支持其它运行模式（例如直接提交到远程yarn）