数据集成引擎BitSail自动化测试框架解析

Presentation大数据 (Big Data)
🕒 ~
  • 刘澎
    • 刘澎
    • 字节跳动
    • 数据平台研发工程师

Attendee Ratings

Introduction & Background

  • Bitsai简介:介绍下Bitsail是什么、发展状况、应用状况(2p)
  • Bitsail应用现状:数据源 & 使用环境种类多(1p)
  • 现状下存在的问题:难以确定各种数据源的通道组合是否可用(1p)
  • 开源现状:其他产品目前是怎么做的一个测试框架&测试情况(1p)
  • 如何解决这个问题:概述自动测试方案(1p)

Architecture

  • 整体架构介绍:(从基本目标出发,介绍测试框架的三个部分)(1p)
  • Test Executor:用于模拟各种执行环境(引擎、底座)(与下面共1p)
  • DataSource:用于测试的数据源
  • Scheduler:自动生成M*N的通道组合测试作业(1p)
  • 基于此框架,在scheduler层面优化了测试效率
    • 支持多种作业生成策略(M*N、M+N、黑白名单)(1p)
    • 维护Test Executor和DataSource资源池,并据此调度测试作业(1p)
    • 存储作业执行状态,用于增量重试、与外部流程打通(1p)

Implementation

  • 测试框架在字节内部的应用状态(1p)
    • 集成到了发版流水线中
  • 取得的收益(1p)
    • 帮助developer感知代码变更对全局通道造成的影响
    • 帮助developer决策哪些数据源组合的通道产品能够对外开放

Future(1p)

  • 更多的功能
    • 支持增量测试(通过感知代码变化决定进行哪些测试)
    • 支持对数据准确性的验证测试
  • 更多的场景
    • 扩展TestExecutor的执行模式,使其能支持其它运行模式(例如直接提交到远程yarn)

File Download

  1. Bitsail-COSCon-report.pptx