DataStream API 四 之 Flink DataStream编程

article/2025/9/16 20:57:40

DataStream API 四 之 Flink DataStream编程

  • 1.分布式流处理基本模型
  • 2.流应用开发步骤
  • 3.数据类型
  • 4. Connector
  • 5. Execution environment
  • 6. 参数传递
  • 7.配置并⾏度
  • 8.Watermark
  • 9.Checkpoint
  • 10.State
  • 11. Data Source
    • 11.1
    • 11.2 自定义Source
  • 12.Transformations
  • 13.Window
    • 13.1窗⼝处理函数
    • 13.2 window /区间 Join
    • 13.3 Data Sink

1.分布式流处理基本模型

2.流应用开发步骤

3.数据类型

4. Connector

5. Execution environment

6. 参数传递

7.配置并⾏度

8.Watermark

9.Checkpoint

10.State

11. Data Source

11.1

11.2 自定义Source

  1. 实现SourceFunction接⼝
    非并⾏化数据源
  2. 实现ParallelSourceFunction接⼝
    并⾏数据源
  3. 实现RichParallelSourceFunction接⼝
    RichParallelSourceFunction 会额外提供open和close⽅法,针对source中如果需要获取其他链接资源,那
    么可以在open⽅法中获取资源链接,在close中关闭资源链接

12.Transformations

Transformations操作
DataStream转换关系
• Map 对每个元素进⾏⼀定的变换后,映射为另⼀个元素
• Flatmap 将元素摊平,每个元素可以变为0个、1个、或者多个元素
• Filter 筛选
• keyBy 逻辑上将Stream根据指定的Key进⾏分区,是根据key的散列值进⾏分区的
• reduce是归并操作,它可以将KeyedStream 转变为 DataStream
• fold给定⼀个初始值,将各个元素逐个归并计算。它将KeyedStream转变为DataStream
• union可以将多个流合并到⼀个流中,以便对合并的流进⾏统⼀处理。是对多个流的⽔平拼接
• Join:根据指定的Key将两个流进⾏关联。
• coGroup:关联两个流,关联不上的也保留下来
• Split:将⼀个流拆分为多个流时间进⾏聚合或者其他条件对KeyedStream进⾏分组
• window:按
12.2 Transformations(Operate Function)

13.Window

13.1窗⼝处理函数

13.2 window /区间 Join

13.3 Data Sink


http://chatgpt.dhexx.cn/article/8YCoqhTG.shtml

相关文章

Flink的DataStream介绍

1|0一:流式处理基本概念 流处理系统本身有很多自己的特点。一般来说,由于需要支持无限数据集的处理,流处理系统一般采用一种数据驱动的处理方式。它会提前设置一些算子,然后等到数据到达后对数据进行处理。 为了表达复杂的逻辑&am…

Flink DataStream API(基础版)

概述 DataStream(数据流)本身是 Flink 中一个用来表示数据集合的类(Class),我们编写的 Flink 代码其实就是基于这种数据类型的处理,所以这套核心API 就以DataStream 命名。对于批处理和流处理,我…

node.js上开启服务,在同一局域网下的另一客户端访问

选择的服务是我之前做的案例:链接 1.在本机上开启服务: 2.本机上用浏览器访问验证无误: 3.运行cmd使用命令ipconfig查看本机ip地址 4.在另一台局域网下的机子,要求可以ping到。 浏览器访问ip地址:3000即可。&#…

前端 面试题

介绍项目 安全性 token 验证 处理令牌续期问题,在header中获取到新令牌时,替换老令牌,以达到用户无感刷新令牌 1、第一次登录的时候,前端调后端的登陆接口,发送用户名和密码 2、后端收到请求,验证用户名和…

基础知识---cmd命令行篇

1、echo(输出) > 覆盖 >>追加 2、dir(展示当前目录的文件 .当前的目录 ..表示上一层目录) 3、d:和cd:d为驱动器 cd展示当前目录的文件( .为当前文件 ..为上一层目录的文件&#xf…

虚拟机NAT+静态IP+DNS

NAT模式下 虚拟机联网是通过物理机的VMware Nat服务(电脑网络切换也无碍),禁用状态下ping不通物理机,也连不了网 物理机连接虚拟机的通过VMnet8虚拟网络适配器,禁用情况下ping不通虚拟机,Xshell工具也没法…

ACP考前错题总结(精华,已过ACP)

前言 证书和战绩镇楼,希望大家都可以拿到自己想要的Certificate。无论ACA-ACP-ACE亦或者GCP、AWS等等。 错题总结 镜像、本地磁盘部分 不建议基于本地服务器制作镜像上传到阿里云ECS并提供服务。 不支持写在座位数据盘使用的本地盘 镜像和快照:镜像可…

React+Native Unable to download JS Bundle解决办法

在配置ReactNative开发环境中,会遇到很多坑。 这个会困扰很多很多人。 在前序工作中,我们开启了8081端口,以供手机通过该端口下载相应的js。 而在命令行执行adb reverse tcp:8081 tcp:8081命令能解决一定的问题,但也有可能失效。…

网络协议 一 OSI参考模型、计算机通信基础 (集线器、网桥、交换机、路由器)

萌宅鹿网络系列 的基础上增强 目录 互联网(internet)为什么要学习网络协议客户端-服务器跨平台的原理(Java、C)网络互连模型(OSI参考模型)计算机之间的通信基础 计算机之间的连接方式 - 网线直连计算机之间…

物联网安全实践二

正文 一 实验目的及要求 物联网智能设备一般都提供WiFi接入,本实验是在WiFi密码破解基础上进一步对物联网智能设备配置服务开展安全性分析实验。比如智能物联网家居网关、智能家居中的智能插座等,一般都内置Web服务,方便本地登录Web网页开展…

ARP协议个人总结

一:引入 当网络设备要发送数据给另一台设备时,必须要知道对方的网络层地址(即IP地址)。IP地址由网络层来提供,但是仅有IP地址是不够的,IP数据报文必须封装成帧才能通过数据链路进行发送。数据帧必须包含目…

计算机网络知识点总结(ICMP、PING、OSPF、TIMEWAIT、CLOSEWAIT、HTTPS、HTTP2.0)

概述五层模型物理层数据链路层CSMA/CD协议PPP协议MAC地址局域网交换机 网络层(IP层)IP地址分类IP地址与物理地址的区别ARP协议(重点)ICMP协议(重点)Ping原理(重点)Traceroute原理&am…

DC-1靶机渗透测试记录

攻击机 kali-linux-2020.4-vbox-i386 设置 USB设备关闭,网络连接方式仅主机(Host-Only)网络。 攻击机IP 192.168.56.103 步骤1 靶机目标发现 因为靶机和攻击机在同一个网络内,所以使用KALI上arp-scan -l 进行扫描。扫描确定了靶机…

vue3 无法通过局域网访问Network 项目IP地址 无法通过IP访问项目

首先把防火墙关了 通过ping IP 看看是否链接的通 然后修改vue.config 下的publicPath

windows网络命令:ping、ipconfig、tracert、netstat、arp(附ubuntu)

ping www.baidu.com,从命令执行开始,到结果返回总共需要经过以下几步: 1、DNS解析:www.baidu.com解析成具体的IP地址,因为数据包在网络上传输时只认IP地址。 2、查找路由表:IP地址以后,接下来就…

计算机网络复习

计算机网络 一.计算机网络概述 计算机网络的概念:(*) 1.计算机网络的定义: ​ 计算机网络是指将地理位置不同的具有独立功能的多台计算机及其外部设备,通过通信线路链接起来,在网络操作系统&#xff0c…

Elasticsearch之快速入门篇(个人笔记)

Elasticsearch概述 Elasticsearch是一个开源的分布式、RESTful 风格的搜索和数据分析引擎,它的底层是开源库Apache Lucene。   Lucene 可以说是当下最先进、高性能、全功能的搜索引擎库——无论是开源还是私有,但它也仅仅只是一个库。为了充分发挥其功…

【问题整理】计算机相关

目录 缩写 计算机的发展 摩尔定律 冯诺依曼理论 计算机系统的构成 CPU/中央处理器 CPU的性能参数 内存 随机存储器RAM和只读存储器ROM 外存 主板 显卡 定点数和浮点数 网络拓扑结构设计 某医院医保系统故障,如何排错 计算机网络的分层 OSI七层模型 …

验证性实验

验证性实验 一、ipconfig ipconfig 是微软操作系统的计算机上用来控制网络连接的一个命令行工具。它的主要用来显示当前网络连接的配置信息(/all 参数)。 实作一: 使用 ipconfig/all 查看自己计算机的网络配置,尽可能明白每行的…

windows网络命令:ping、ipconfig、tracert、netstat、arp

ping www.baidu.com,从命令执行开始,到结果返回总共需要经过以下几步: 1、DNS解析:www.baidu.com解析成具体的IP地址,因为数据包在网络上传输时只认IP地址。 2、查找路由表:IP地址以后,接下来…