flink的发展历程

news/2024/9/25 20:12:54

Apache Spark和Apache Flink都是开源的分布式大数据处理框架,它们各自有着不同的特点和发展历程。
Apache Spark:
起始时间:2009年,由加州大学伯克利分校AMPLab开发 。
开源时间:2010年,Matei Zaharia将其开源 。
主要发展:
2013年,成为Apache基金项目 。
2014年,成为Apache顶级项目 。
2016年,发布Spark 2.0,增强了结构化流处理和机器学习功能 。
2020年,发布Spark 3.0,引入了更多的SQL功能和Python中的分布式Pandas(Koalas)支持 。
Apache Flink:
起始时间:最初是德国柏林工业大学的研究性项目Stratosphere,目标是建立下一代大数据分析引擎 。
开源时间:
2014年4月16日,Stratosphere成为Apache孵化项目,并正式更名为Flink 。
2014年8月26日,Flink 0.6发布 。
2014年11月4日,Flink 0.7.0发布,推出最重要的特性:Streaming API 。
2016年3月8日,Flink 1.0.0发布,流处理基础功能完善,支持Scala 。
2019年8月,阿里巴巴开源Blink,后来合并到Flink中 。
2020年7月6日,Flink 1.11.0发布,从Flink1.11开始,Blink planner是Table API/SQL中的默认设置 。
2022年,Flink继续发布新版本,改进批和流的状态管理机制,优化checkpoint机制 。
两个框架各有优势,选择哪个框架取决于具体的业务需求。Spark以其易用性、丰富的生态系统和高效的处理引擎获得了大数据领域的认可。而Flink则以其低延迟的流处理能力和状态管理而闻名。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.ryyt.cn/news/64712.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈,一经查实,立即删除!

相关文章

区间质数搜索——埃拉托斯特尼筛法和欧拉筛法

参考资料 【中国大学生计算机设计大赛国赛二等奖微课与教学辅助《埃拉托斯特尼筛法》】 【中国大学生计算机设计大赛《素数筛选—欧拉线性筛选法详解》】 Eratosthenes筛法-CSDN博客 【算法/数论】欧拉筛法详解:过程详述、正确性证明、复杂度证明-CSDN博客 水平有限,欢迎交流…

2024/9/25代码随想录 图论 关于ACM模式下输出的细节

1. 就只输出一行数据,输出 1 2 4 5 来说,

quixel bridge如何导入unity

bridge如何导入unity# 1.[Quixel Bridge](https://quixel.com/bridge)下载和设置 1. 下载[Quixel Bridge - Manage 3D content and export with one click](https://quixel.com/bridge) 客户端注册 安装。bridge 模型导出路径配置 和 插件下载客户端点击 Edit ->Export Set…

mini-lsm通关笔记Week2Day3

项目地址:https://github.com/skyzh/mini-lsm 个人实现地址:https://gitee.com/cnyuyang/mini-lsmSummary在本章中,您将:实现tiered合并策略并在压缩模拟器上对其进行模拟。 将tiered合并策略纳入系统。我们在本章所讲的tiered合并和RocksDB的universal合并是一样的。我们将…

mini-lsm通关笔记Week2Day2

项目地址:https://github.com/skyzh/mini-lsm 个人实现地址:https://gitee.com/cnyuyang/mini-lsmSummary在本章中,您将: 要将测试用例复制到启动器代码中并运行它们,实现一个simple leveled合并策略,并在合并模拟器上进行仿真。 将compaction作为后台任务启动,并在系统…

nssctf(web

web 1.浏览器也能套娃 查看wp,是ssrf漏洞 介绍:SSRF漏洞产生的原因是服务端提供了能够从其他服务器应用获取数据的功能,比如从指定的URL地址获取网页内容,加载指定地址的图片、数据、下载等等。 SSRF的利用:进行内网资源的访问:url?url=http://内网的资源url利用伪协议:…

RTE 大会报名丨AI 时代新基建:云边端架构和 AI Infra ,RTE2024 技术专场第二弹!

所有 AI Infra 都在探寻规格和性能的最佳平衡,如何构建高可用的云边端协同架构?语音 AI 实现 human-like 的最后一步是什么?AI 视频的爆炸增长,给新一代编解码技术提出了什么新挑战?当大模型进化到实时多模态,又将诞生什么样的新场景和玩法?AI 加持下,空间计算和新硬件…

002-QOS基本原理

QOS基本原理QOS概述什么是QOS QoS服务模型 区分服务模型 QoS常用技术 (DiffServ模型) QoS数据处理流程 (DiffServ模型)QoS流分类和流标记QoS数据处理流程 为什么需要流分类和流标记简单流分类外部优先级 - VLAN报文 外部优先级 - MPLS报文 外部优先级 - IP报文 各外部优先级间的…