初识Fink

news/2024/10/5 5:11:57

概述

Fink用于处理计算的,如下图所示,将交易、日志、物联网、点击流的数据输入到Flink中进行处理计算,处理完成之后输出到应用、日志、数据库中。Flink是以流的方式对数据进行处理的,所谓流就是源源不断,每时每刻都在有序的产生,例如设备仪器运行数据就属于数据流,因为设备仪器无时无刻都再运行并产生数据。
image

流式数据处理

流式数据处理

数据就像河流一样,源源不断的产生数据,在处理数据时,来一个处理一个,这种处理模式被成为流式处理。数据流则就像聊天一样,来一条信息处理一次。

批处理

数据是以批量的方式发送数据,然后进行处理,批处理就像写作文一样,将大量的字符拼在一起然后再进行处理操作。

传统事务处理

传统事务是根据业务将不同的业务功能拆出多个服务,每个服务都会对数据库进行读写操作。在传统事务中,处理数据的模式是用户通过点击页面功能来产生事件,通过事件完成对数据库的读写操作。系统所产生的事件是源源不断的,所以传统事务模式也是数据流。传统事务处理的优点是来一个请求系统返回一个响应,事务处理可以很好的保证实时性,缺点是随着系统越发复杂,数据库中存储的数据越多,数据库的查询性能会下降,最终导致系统会很慢。
image

有状态的流处理

与传统业务处理不同之处在于,有状态的流处理会将每一次计算后的结果累加到内存的本地状态中,例如要计算温度平均值时,会将温度存储到数据库中并根据历史温度将数据存储到本地状态中,为了避免服务宕机后数据丢失,系统会定时持久化数据到硬盘中。
image

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.ryyt.cn/news/28787.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈,一经查实,立即删除!

相关文章

三角函数之和差化积公式

知识点1:三角函数奇偶性: \(\sin(-\theta)=-\sin\theta, \quad \cos(-\theta)=\cos\theta\)如上图: 单位半圆的半径为1,\(\triangle AOB\)为等腰三角形。 点\(C\)为线段\(AB\)之中点,连接\(CO\)。 根据等腰三角形的性质,\(OC\) 是 \(△AOB\) 的角平分线和垂直平分线。 \(…

buuctf-pwn-get_started_3dsctf_2016

题目地址:https://buuoj.cn/challenges#get_started_3dsctf_2016 检查一下保护情况拖进ida分析主函数有个很明显的栈溢出漏洞 没有找到system函数,但是发现了这个函数后面有两种解题思路 0x01 调用get_flag函数 这个函数读取了flag.txt,并输出内容,那么我们就想办法溢出到这…

群晖存储池损毁,加上错误操作删除

如何联系本人? 储存池被我误删除了,导致无法正常通过,格式化群晖第一、第二分区进行恢复。系统损毁了,先导出群晖设置,进入pe使用DiskGenius格式化你所有硬盘的第一个和第二个分区(大约是1-2个G大小的分区)切记不是删除分区, 第三个分区千万不要动,那是数据分区,然后…

第一个C++程序

C++你好 #include "iostream" using namespace std;int main() {cout << "Hello World!!"<< endl;return 0; } 代码解析

Shell编程规范与变量

目录1.Shell脚本概述2.Shell编程规范(1)编写脚本代码(2)脚本编写结构(3)Shell脚本的运行3.重定向与管道(1)交互式硬件设备(2)重定向操作(3)管道操作“|”4.Shell脚本变量(1)自定义变量(1)定义一个新的变量(2)赋值时使用引号(3)设置变量的作用范围(4)整数…

C++面试题(三)

1、程序有哪些section,分别的作用?程序启动的过程?怎么判断数据分配在栈上还是堆上?如上图,从低地址到高地址,一个程序由代码段、数据段、 BSS 段组成。 \1. 数据段:存放程序中已初始化的全局变量和静态变量的一块内存区域。 \2. 代码段:存放程序执行代码的一块内存区域…

珂朵莉树/颜色段均摊

名称简介 珂朵莉树(Chtholly Tree),又名老司机树 ODT(Old Driver Tree)。起源自 CF896C。 注意,这种想法的本质是基于数据随机的「颜色段均摊」,而不是一种数据结构,下文介绍的操作是这种想法的具体实现方法。 前置知识 会用 STL 的 set 就行。 核心思想 把值相同的区间…

1、数仓基础

1、数据仓库的概念 数据仓库(英语:Data Warehouse,简称数仓、DW),是一个用于存储、分析、报告的数据系统。数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decision Support)。数据仓库本身并不“生产”任何数据,其数据来源于不同外部系统;…