【云原生】Apache Livy on k8s 讲解与实战操作

article/2025/10/13 8:36:06

文章目录

    • 一、概述
    • 二、开始编排部署
      • 1）部署包准备
      • 1）构建镜像
      • 2）创建livy chart模板
      • 3）修改yaml编排
      • 4）开始部署
      • 5）测试验证
      • 6）卸载

一、概述

Livy是一个提供Rest接口和spark集群交互的服务。它可以提交Spark Job或者Spark一段代码,同步或者异步的返回结果;也提供Sparkcontext的管理,通过Restful接口或RPC客户端库。Livy也简化了与Spark与应用服务的交互,这允许通过web/mobile与Spark的使用交互。

官网：https://livy.incubator.apache.org/
GitHub地址：https://github.com/apache/incubator-livy
关于Apache Livy更多介绍也可以参考我这篇文章：Spark开源REST服务——Apache Livy（Spark 客户端）

二、开始编排部署

1）部署包准备

这里也提供上面编译好的livy部署包，有需要的小伙伴可以自行下载：

链接：https://pan.baidu.com/s/1pPCbe0lUJ6ji8rvQYsVw9A?pwd=qn7i
提取码：qn7i

1）构建镜像

Dockerfile

FROM myharbor.com/bigdata/centos:7.9.2009RUN rm -f /etc/localtime && ln -sv /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && echo "Asia/Shanghai" > /etc/timezone
RUN export LANG=zh_CN.UTF-8### install tools
RUN yum install -y vim tar wget curl less telnet net-tools lsofRUN groupadd --system --gid=9999 admin && useradd --system -m /home/admin --uid=9999 --gid=admin adminRUN mkdir -p /opt/apacheADD apache-livy-0.8.0-incubating-SNAPSHOT-bin.zip /opt/apache/
ENV LIVY_HOME=/opt/apache/apache-livy
RUN ln -s /opt/apache/apache-livy-0.8.0-incubating-SNAPSHOT-bin $LIVY_HOMEADD hadoop-3.3.2.tar.gz /opt/apache/
ENV HADOOP_HOME=/opt/apache/hadoop
RUN ln -s /opt/apache/hadoop-3.3.2 $HADOOP_HOME
ENV HADOOP_CONFIG_DIR=${HADOOP_HOME}/etc/hadoopADD spark-3.3.0-bin-hadoop3.tar.gz /opt/apache/
ENV SPARK_HOME=/opt/apache/spark
RUN ln -s /opt/apache/spark-3.3.0-bin-hadoop3 $SPARK_HOMEENV PATH=${LIVY_HOME}/bin:${HADOOP_HOME}/bin:${SPARK_HOME}/bin:$PATHRUN chown -R admin:admin /opt/apacheWORKDIR $LIVY_HOMEENTRYPOINT ${LIVY_HOME}/bin/livy-server start;tail -f ${LIVY_HOME}/logs/livy-root-server.out

【注意】hadoop包里的core-site.xml，hdfs-site.xml，yarn-site.xml

开始构建镜像

docker build -t myharbor.com/bigdata/livy:0.8.0 . --no-cache### 参数解释
# -t：指定镜像名称
# . ：当前目录Dockerfile
# -f：指定Dockerfile路径
#  --no-cache：不缓存# 推送到harbor
docker push myharbor.com/bigdata/livy:0.8.0

2）创建livy chart模板

helm create livy

3）修改yaml编排

  • livy/values.yaml
replicaCount: 1image:repository: myharbor.com/bigdata/livypullPolicy: IfNotPresent# Overrides the image tag whose default is the chart appVersion.tag: "0.8.0"securityContext:runAsUser: 9999runAsGroup: 9999privileged: trueservice:type: NodePortport: 8998nodePort: 31998
  • livy/templates/configmap.yaml
apiVersion: v1
kind: ConfigMap
metadata:name: {{ include "livy.fullname" . }}labels:{{- include "livy.labels" . | nindent 4 }}
data:livy.conf: |-livy.spark.master = yarnlivy.spark.deploy-mode = clientlivy.environment = productionlivy.impersonation.enabled = truelivy.server.csrf_protection.enabled = falselivy.server.port = {{ .Values.service.port }}livy.server.session.timeout = 3600000livy.server.recovery.mode = recoverylivy.server.recovery.state-store = filesystemlivy.server.recovery.state-store.url = /tmp/livylivy.repl.enable-hive-context = truelivy-env.sh: |-export JAVA_HOME=/opt/apache/jdk1.8.0_212export HADOOP_HOME=/opt/apache/hadoopexport HADOOP_CONF_DIR=/opt/apache/hadoop/etc/hadoopexport SPARK_HOME=/opt/apache/sparkexport SPARK_CONF_DIR=/opt/apache/spark/confexport LIVY_LOG_DIR=/opt/apache/livy/logsexport LIVY_PID_DIR=/opt/apache/livy/pid-direxport LIVY_SERVER_JAVA_OPTS="-Xmx512m"spark-blacklist.conf: |-spark.masterspark.submit.deployMode# Disallow overriding the location of Spark cached jars.spark.yarn.jarspark.yarn.jarsspark.yarn.archive# Don't allow users to override the RSC timeout.livy.rsc.server.idle-timeout
  • livy/templates/deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:name: {{ include "livy.fullname" . }}labels:{{- include "livy.labels" . | nindent 4 }}
spec:{{- if not .Values.autoscaling.enabled }}replicas: {{ .Values.replicaCount }}{{- end }}selector:matchLabels:{{- include "livy.selectorLabels" . | nindent 6 }}template:metadata:{{- with .Values.podAnnotations }}annotations:{{- toYaml . | nindent 8 }}{{- end }}labels:{{- include "livy.selectorLabels" . | nindent 8 }}spec:{{- with .Values.imagePullSecrets }}imagePullSecrets:{{- toYaml . | nindent 8 }}{{- end }}serviceAccountName: {{ include "livy.serviceAccountName" . }}securityContext:{{- toYaml .Values.podSecurityContext | nindent 8 }}containers:- name: {{ .Chart.Name }}securityContext:{{- toYaml .Values.securityContext | nindent 12 }}image: "{{ .Values.image.repository }}:{{ .Values.image.tag | default .Chart.AppVersion }}"imagePullPolicy: {{ .Values.image.pullPolicy }}ports:- name: httpcontainerPort: 8998protocol: TCPlivenessProbe:httpGet:path: /port: httpreadinessProbe:httpGet:path: /port: httpresources:{{- toYaml .Values.resources | nindent 12 }}{{- with .Values.securityContext }}securityContext:runAsUser: {{ .runAsUser }}runAsGroup: {{ .runAsGroup }}privileged: {{ .privileged }}{{- end }}volumeMounts:- name: {{ .Release.Name }}-livy-confmountPath: /opt/apache/livy/conf/livy.confsubPath: livy.conf- name: {{ .Release.Name }}-livy-envmountPath: /opt/apache/livy/conf/livy-env.shsubPath: livy-env.sh- name: {{ .Release.Name }}-spark-blacklist-confmountPath: /opt/apache/livy/conf/spark-blacklist.confsubPath: spark-blacklist.conf{{- with .Values.nodeSelector }}nodeSelector:{{- toYaml . | nindent 8 }}{{- end }}{{- with .Values.affinity }}affinity:{{- toYaml . | nindent 8 }}{{- end }}{{- with .Values.tolerations }}tolerations:{{- toYaml . | nindent 8 }}{{- end }}volumes:- name: {{ .Release.Name }}-livy-confconfigMap:name: {{ include "livy.fullname" . }}- name: {{ .Release.Name }}-livy-envconfigMap:name: {{ include "livy.fullname" . }}- name: {{ .Release.Name }}-spark-blacklist-confconfigMap:name: {{ include "livy.fullname" . }}

4）开始部署

helm install livy ./livy -n livy --create-namespace

NOTES

NOTES:
1. Get the application URL by running these commands:export NODE_PORT=$(kubectl get --namespace livy -o jsonpath="{.spec.ports[0].nodePort}" services livy)export NODE_IP=$(kubectl get nodes --namespace livy -o jsonpath="{.items[0].status.addresses[0].address}")echo http://$NODE_IP:$NODE_PORT

在这里插入图片描述

查看

kubectl get pods,svc -n livy -owide

在这里插入图片描述

web地址：http://192.168.182.110:31998/ui
在这里插入图片描述

5）测试验证

curl -s -XPOST -d '{"file":"hdfs://myhdfs/tmp/spark-examples_2.12-3.3.0.jar","className":"org.apache.spark.examples.SparkPi","name":"SparkPi-test"}'  -H "Content-Type: application/json"  http://local-168-182-110:31998/batches|python -m json.tool

在这里插入图片描述
在这里插入图片描述

6）卸载

helm uninstall livy -n livy

git地址：https://gitee.com/hadoop-bigdata/livy-on-k8s

Apache Livy on k8s 编排部署讲解就先到这里了，有疑问的小伙伴欢迎给我留言，后续会持续更新【云原生+大数据】相关的文章，请小伙伴耐心等待~


http://chatgpt.dhexx.cn/article/MRWbewBg.shtml

相关文章

Livy：基于Apache Spark的REST服务

Livy：基于Apache Spark的REST服务

原文：http://geek.csdn.net/news/detail/208943 Apache Spark提供的两种基于命令行的处理交互方式虽然足够灵活，但在企业应用中面临诸如部署、安全等问题。为此本文引入Livy这样一个基于Apache Spark的REST服务，它不仅以REST的方式代替了Spar…
阅读更多...
Livy安装使用

Livy安装使用

本次部署的livy是0.7.0版，zip包下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/incubator/livy/0.7.0-incubating/apache-livy-0.7.0-incubating-bin.zip 安装java jdk1.8 步骤： 一、将下载好的livy的zip包用命令unzip去解压(如果…
阅读更多...
livy的安装使用

livy的安装使用

2019独角兽企业重金招聘Python工程师标准>>> livy简介 Livy是一个提供rest接口和spark集群交互的服务。它可以提交spark job或者spark一段代码,同步或者异步的返回结果;也提供sparkcontext的管理,通过restfull接口或RPC客户端库。Livy也简化了与spark与应用服务的交…
阅读更多...
Livy任务提交源码解析

Livy任务提交源码解析

文章目录 简介任务路由代码断任务远程Driver上建立RpcServerLivyServer接收客户端提交代码断任务LivyServer向远程Driver的RpcServer提交任务远程Driver的RpcServer接收任务Driver执行代码断任务Batch任务LivyServer接收batch任务创建BatchSession以提交Spark任务创建SparkYarn…
阅读更多...
livy简介

livy简介

livy简介 什么是livy Livy通过提供REST服务来简化与Spark集群的交互。它可以通过job或者代码片段的方式来提交Spark任务，并同步或者异步地获得任务的结果，以及管理spark context，上述功能通过简单的REST接口或者RPC服务来实现。livy也可以简…
阅读更多...
livy部署及应用

livy部署及应用

一、介绍 Livy把spark交互式和批处理都搬到了web上，提供restful接口，Livy一方面接收并解析客户端提交的REST请求，转换成相应的操作，另一方面它管理着客户端所启动的spark集群 Livy会为用户运行多个session，每个sessio…
阅读更多...
C/C++ 实现字符串IP与整数型IP的相互转换

C/C++ 实现字符串IP与整数型IP的相互转换

#include <stdio.h> int main() {char ip[32] "192.168.1.151"; //IP值char scIPAddress[32] ""; //存储字符串IPunsigned int nIPAddress 0; //存储整形IPint nTmpIP[4] {0}; //分割IPint i0;//字符串转整形sscanf(ip,"%d.%d.%d.%…
阅读更多...
数字字符串转化成 IP 地址

数字字符串转化成 IP 地址

数字字符串转化成 IP 地址 1、参考资料 https://www.nowcoder.com/practice/ce73540d47374dbe85b3125f57727e1e 2、题目要求 题目描述 现在有一个只包含数字的字符串&#xff0c;将该字符串转化成IP地址的形式&#xff0c;返回所有可能的情况。 例如&#xff1a; 给出的字…
阅读更多...
IP地址（IPV6）与long数组之间的转换

IP地址（IPV6）与long数组之间的转换

IP地址&#xff08;IPV6&#xff09;与long数组之间的转换 《IP地址&#xff08;IPV4&#xff09;与int类型之间的转换》《IP地址&#xff08;IPV6&#xff09;与long数组之间的转换》 一、前言 IPv6是英文“Internet Protocol Version 6”&#xff08;互联网协议第6版&#…
阅读更多...
如何将字符数串和IP地址进行转换？

如何将字符数串和IP地址进行转换？

这一部分主要是网络编程中会使用&#xff0c;将数串和IP地址进行转换&#xff0c;在进行转换之前&#xff0c;我们需要知道IP地址在linux系统中的结构体定义 地址类型结构体 具体如下表&#xff1a; 结构体功能特性struct sockaddr套接字地址结构IPv4/IPv6通用struct sockad…
阅读更多...
如何将IP地址字符串转换为数字数组

如何将IP地址字符串转换为数字数组

如何将IP地址字符串转换为数字数组 最近在做一个项目用到LWIP&#xff0c;通过触摸屏幕上的数字键盘输入要设置的IP地址和网关地址&#xff0c;然后再用输入的地址去设置重新设置lwip。那么问题就来了&#xff0c;输入的IP地址字符串应该怎么去转换成 ip[4] 数组呢&#xff1f…
阅读更多...
IP地址字符串和数组相互转换

IP地址字符串和数组相互转换

需求描述&#xff1a; 将字符串“192.168.2.126”&#xff0c;转成Byte类型&#xff0c;存放在字节数组中。数组内容为 192,168,2&#xff0c;126。反之亦然。 实现方法&#xff1a; 通过C# 库中的IPAddress类完成。 IPAddress类 对应的命名空间是using System.Net; 实现代…
阅读更多...
花3个月面过华为测开岗，拿个30K不过分吧？

花3个月面过华为测开岗，拿个30K不过分吧？

计算机专业&#xff0c;代码能力一般&#xff0c;之前有过两段实习以及一个学校项目经历。第一份实习是大二暑期在深圳的一家互联网公司做前端开发&#xff0c;第二份实习由于大三暑假回国的时间比较短&#xff08;小于两个月&#xff09;&#xff0c;于是找的实习是在一家初创…
阅读更多...
华为OD德科面试+机试记录

华为OD德科面试+机试记录

一、机试&#xff08;6.25&#xff09; 三道编程题&#xff0c;难度偏中。由于时间久远&#xff0c;只记得其中两道题目 1、找车位&#xff08;动态规划&#xff09; 2、题目不记得了&#xff0c;后面如果找到会补充&#xff08;双指针&#xff09; 3、高效的任务规划&#x…
阅读更多...
准备4个月过华为测试岗，拿个23k应该不多吧

准备4个月过华为测试岗，拿个23k应该不多吧

我大学是学的编程专业&#xff0c;写代码能力非常一般&#xff0c;之前有一个学校项目经验和两段实习。第一份实习是在进大三之前的暑假在广州一家软件公司做前端&#xff0c;第二份实习时大三暑假两个月在一家刚创业的公司做全栈。 我面试的是测试开发&#xff0c;在2022年初…
阅读更多...
vSphere Client连接主机提示远程服务器响应时间过长

vSphere Client连接主机提示远程服务器响应时间过长

问题现象 使用VMware vSphere Client连接EXSi主机时&#xff0c;提示“由于远程服务器响应时间过长&#xff0c;请求失败&#xff08;操作超时&#xff09;”。 解决方法 打开Windows注册表&#xff0c;找到HKEY_CURRENT_USER\Software\VMware\VMware Infrastructure Clien…
阅读更多...
nginx配置测试成功 访问页面显示响应时间过长是什么问题？

nginx配置测试成功 访问页面显示响应时间过长是什么问题？

阅读更多...
官网下载eclipse出现mirror.kakao.com 的响应时间过长+解决方法

官网下载eclipse出现mirror.kakao.com 的响应时间过长+解决方法

Eclipse官网:https://www.eclipse.org/downloads/ 问题&#xff1a;官网下载eclipse出现mirror.kakao.com 的响应时间过长 原因&#xff1a;防火墙导致 解决:选择下载国内的镜像 详细过程如下&#xff1a; 每次下载都出现类似下图这样无法访问页面的界面 出现这个的原因大概…
阅读更多...
火狐浏览器打开网页显示服务器响应时间过长,网站测试响应时间太长怎么办

火狐浏览器打开网页显示服务器响应时间过长,网站测试响应时间太长怎么办

有时候通过第三方工具测试服务器的响应时间会很长&#xff0c;而单独创建一个测试站点响应时间又很短。 如用户在http://seo.chinaz.com/ 这里测试的结果。 以下为一个测试出来响应时间较长的站点&#xff1a; 这种情况该怎么办呢&#xff0c;一般来说这种情况并不是网络原因&a…
阅读更多...
阿里云服务器部署SpringBoot项目访问响应时间过长的解决

阿里云服务器部署SpringBoot项目访问响应时间过长的解决

重在解决项目部署完成后的浏览器访问响应时间过长的问题&#xff0c;供SpringBoot项目运行在Centos7的linux系统参考。 安全组 想要在输入地址www.xxxx.top或者ip地址访问不加&#xff1a;[端口] 需要在阿里云的服务器控制台设置安全组&#xff1a; 1.首先点击你的控制台服务…
阅读更多...
推荐文章

Copyright @ 2022~2023