我的开源之夏之旅 - StreamPark 的高可用设计

Presentation开源教育分论坛(开源之夏与开源人才培养)
🕒 ~
  • 胡湘鹏
    • 胡湘鹏
    • 清华大学
    • 学生

观众评分

🤍

本题目来自于开源之夏2024,Apache StreamPark 是一个流处理应用程序开发管理框架,旨在轻松构建和管理流处理应用程序。使用 StreamPark 开发流处理作业,可以极大降低学习成本和开发⻔槛,让开发者只用关心最核心的业务,StreamPark 规范了项目的配置、鼓励函数式编程、定义了最佳的编程方式,提供了一系列开箱即用的连接器(Connector), 标准化了配置、开发、测试、部署、监控、运维的整个过程,提供了 Scala 和 Java 两套接口,并且提供了一个一站 式的流处理作业开发管理平台,从流处理作业开发到上线全生命周期都做了支持,是一个一站式的流处理计算平台。 目前的 Apache StreamPark 平台只支持单机模式部署,无法保障平台高可用,如果平台服务挂了,就失去了对作业的监控告警、自动拉起等能力,因此本项目主要为解决 StreamPark 平台的 HA 高可用问题。