被社区关注的Blink开源到底向上游贡献了什么?(3)
此外,针对 Flink 的流计算的特点,这一版 Zeppelin 也很好的支持了 savepoint,用户可以在界面上暂停作业,然后再从 savepoint 恢复继续运行作业。在数据展示方面,除了传统的数据分析界面,我们也添加了流计算的翻牌器和时间序列展示等等功能。为了方便用户试用,我们在这一版 Zeppelin 中提供 3 个内建的 Flink 教程例子: 一个是做 StreamingETL 的例子,另外两个分别是做 Flink Batch、Flink Stream 的基础样例。 Flink Web我们对 Flink Web 的易用性与性能等多个方面做了大量的改进,从资源使用、作业调优、日志查询等维度新增了大量功能,使得用户可以更方便的对 Flink 作业进行运维。在资源使用方面,新增了 Cluster、TaskManager 与任务三个级别的资源信息,使得资源的申请与使用情况一目了然。作业的拓扑关系及数据流向可以追溯至 Operator 级别,Vertex 增加了 InQueue、OutQueue 等多项指标,可以方便的追踪数据的反压、过滤及倾斜情况。TaskManager 和 JobManager 的日志功能得到大幅度加强,从 Job、Vertex、SubTask 等多个维度都可以关联至对应日志,提供多日志文件访问入口,以及分页展示查询和日志高亮功能。 另外,我们使用了较新的 Angular 7.0 对 Flink web 进行了全面重构,页面运行性能有了一倍以上的提升。在大数据量情况下也不会发生页面卡死或者卡顿情况。同时对页面的交互逻辑进行了整体优化,绝大部分关联信息在单个页面就可以完成查询和比对工作,减少了大量不必要的跳转。 未来的规划Blink 迈出了全面开源的第一步,接下来我们会和社区合作,尽可能以最快的方式将 Blink 的功能和性能上的优化合并回 Flink。本次的开源版本一方面贡献了 Blink 多年在流计算的积累,另一方面又重磅推出了在批处理上的成果。接下来,我们会持续给 Flink 社区贡献其他方面的功能。我们期望每过几个月就能看到技术上有一个比较大的亮点贡献到社区。下一个亮点应该是对机器学习的支持。要把机器学习支持好,有一系列的工作要做,包括引擎的功能,性能,和易用性。这里面大部分的工作我们已经开发完成,并且很多功能都已经在阿里巴巴内部服务上线了。 除了技术上创新以及新功能之外,Flink 的易用性和外围生态也非常重要。我们已经启动了若干这方面的项目,包括 Python 以及 Go 等多语言支持,Flink 集群管理,Notebook,以及机器学习平台等等。这些项目有些会成为 Flink 自身的一部分贡献回社区,有些不是。但它们都基于 Flink,是 Flink 生态的一个很好的补充。独立于 Flink 之外的那些项目,我们都也在认真的考虑开源出来。总之,Blink 在开源的第一天起,就已经完全的融入了 Flink 社区,我们希望所有的开发者看到我们的诚意和决心。 未来,无论是功能还是生态,我们都会在 Flink 社区加大投入,我们也将投入力量做 Flink 社区的运营,让 Flink 真正在中国、乃至全世界大规模地使用起来。我们衷心的希望更多的人加入,一起把 Apache Flink 开源社区做得更好! 【编辑推荐】
点赞 0 (编辑:ASP站长网) |